Un chercheur en sécurité suisse a réussi à décortiquer une vidéo enregistrée avec le mode cinématique des iPhone 13 pour « sortir » la carte des distances associée à la vidéo. Pour ceux qui sortent tout juste d’une hibernation, rappelons que le mode cinématique applique un effet de flou sur les vidéos, pour mieux mettre en avant un sujet. Les iPhone 13 analysent à cette fin l’environnement pour déterminer la distance entre les objets et appliquer l’effet de flou au bon endroit.
Ce traitement est effectué en temps réel, mais il peut être modifié après le tournage. C’est pourquoi le fichier enregistré par les iPhone 13 ne contient pas qu’une piste vidéo et une piste audio, il intègre aussi une piste supplémentaire pour cette carte des distances. C’est un format propriétaire et non documenté, mais ce chercheur a réussi à comprendre son fonctionnement et surtout à l’extraire. De quoi visualiser la base de travail du mode cinématique en parallèle d’une vidéo :
Plusieurs enseignements peuvent être tirés grâce à cette extraction. Le premier, c’est que le mode cinématique génère une carte de définition bien inférieure : alors que la vidéo est tournée en 1080p, une image de 1 920 pixels de large sur 1 080 pixels de haut, la piste vidéo des distances se contente de 320 pixels sur 180. Cela explique pourquoi les détourages autour d’un sujet net peuvent être aussi baveux, c’est parce que les mesures de distance sont encore peu précises.
Autre enseignement essentiel, l’analyse ne fonctionne que sur une très courte distance. Vous pouvez le voir sur la vidéo précédente : tout ce qui est proche de l’iPhone est en blanc, tout ce qui est distant en gris. Notez comment la piste des distances est presque uniformément grise sur cette vidéo tournée dans la rue. Le mode cinématique est optimisé pour un sujet proche et il fonctionne mal dans tout autre contexte.
Sur les iPhone 13 Pro, Apple aurait pu obtenir de bien meilleurs résultats en exploitant le LiDAR, ce laser dédié à la mesure des distances précisément. Ce même chercheur le prouve avec cet autre vidéo qui juxtapose trois éléments : une vidéo en mode cinématique, la carte de distance générée par le mode et enfin une carte des distances produite par le LiDAR. On voit bien que cette dernière est non seulement plus précise (les limites d’objets sont plus nettes), elle est aussi plus complète et détecte les distances plus loin.
Pourquoi ne pas avoir utilisé le LiDAR dans ce cas ? Peut-être parce que les iPhone 13 en sont dépourvus et qu’Apple ne voulait pas différencier la fonction sur les deux gammes. Peut-être aussi parce que l’Apple A15 n’est pas encore suffisant pour gérer la carte de distance plus précise du LiDAR.
Quoi qu’il en soit, c’est une information à garder en tête pour mieux utiliser cette nouveauté des iPhone 13. Choisissez soigneusement votre mise en scène pour obtenir de meilleurs résultats et en particulier, pensez à vous rapprocher au maximum du sujet principal.
