iOS 26 : Apple transforme vos photos en scènes spatiales 3D et ouvre la technologie associée

Depuis le passage à iOS 26, vous avez sans doute remarqué dans l’application Photos la présence d’un nouveau bouton quand vous consultez vos clichés. Si vous n’avez pas encore eu la curiosité d’appuyer dessus, faites-le, le résultat pourrait vous surprendre.

Ce petit bouton sert à convertir vos photos en « scènes spatiales », c’est-à-dire en contenus 3D. La fonction n’est pas totalement inédite : les utilisateurs de Vision Pro peuvent s’amuser avec depuis déjà quelque temps, mais en étant intégrée à iOS 26, elle devient accessible à beaucoup, beaucoup plus de monde.

Après un bref calcul effectué par l’iPhone ou l’iPad, la photo en 2D se voit dotée d’un effet de profondeur et de volume. En faisant pivoter son appareil, on peut observer la scène sous un angle légèrement différent, avec l’impression de voir ce qui se trouve derrière ou à côté du sujet. L’effet est particulièrement convaincant sur les images comportant plusieurs plans bien distincts, comme une foule lors d’un concert, un portrait, ou encore des scènes avec de fortes lignes de perspective. Au-delà de l’app Photos, ces scènes spatiales sont également mises à profit pour créer les nouveaux écrans verrouillés animés, ceux avec un effet 3D appliqué aux photos, ainsi que dans le widget Photos sur l'écran d'accueil.

Il faut bien distinguer les « scènes spatiales » des « photos spatiales ». Depuis l’iPhone 15 Pro, certains iPhone peuvent capturer des photos spatiales, c’est-à-dire des images enrichies de nombreuses données de profondeur grâce à l’utilisation simultanée de deux objectifs — c’est la raison pour laquelle l’iPhone 16e et l’iPhone Air ne peuvent pas prendre ce type de clichés. Ces photos spatiales peuvent être visualisées directement en 3D dans le Vision Pro.

SHARP, une technologie pointue

Les scènes spatiales concernent, elles, les photos classiques en 2D. Comme il n’y a pas (ou peu¹) de données de profondeur, il faut une technique pour les convertir en 3D. Cette technologie, baptisée SHARP, vient justement d’être publiée en open source par Apple.

Pour recréer une scène en trois dimensions, le système ne construit pas un modèle 3D classique fait de polygones, mais une collection de « gaussiennes », c’est-à-dire de petits volumes flous assimilables à des nuages de matière, chacun ayant une position, une taille, une orientation, une couleur et une transparence. Un réseau de neurones analyse l’image et prédit presque instantanément l’ensemble de ces paramètres. Une fois la scène ainsi décrite, elle peut être rendue en temps réel pour produire des images photoréalistes depuis des points de vue proches, avec une échelle réelle qui autorise des mouvements de caméra précis. Apple ne précise pas explicitement que SHARP est à la base des scènes spatiales d’iOS 26, mais tout porte à le penser.

Depuis la publication de cette technologie sur GitHub il y a deux semaines, plusieurs développeurs ont commencé à expérimenter avec. Vous pouvez tester facilement SHARP sur le prototype sharp-ml.vercel.app qui se charge de convertir vos images en nuages de points, puis propose une visionneuse pour explorer le rendu.

Le site permet également de télécharger ces nuages de points dans un fichier au format .ply, qui peut s’ouvrir ensuite dans une application de 3D, comme Blender. Il ne serait pas étonnant que cette technologie open source donne rapidement naissance à de véritables applications tierces, si ce n’est pas déjà le cas.