Le mode cinématique des iPhone 13 est myope
Un chercheur en sécurité suisse a réussi à décortiquer une vidéo enregistrée avec le mode cinématique des iPhone 13 pour « sortir » la carte des distances associée à la vidéo. Pour ceux qui sortent tout juste d’une hibernation, rappelons que le mode cinématique applique un effet de flou sur les vidéos, pour mieux mettre en avant un sujet. Les iPhone 13 analysent à cette fin l’environnement pour déterminer la distance entre les objets et appliquer l’effet de flou au bon endroit.
Ce traitement est effectué en temps réel, mais il peut être modifié après le tournage. C’est pourquoi le fichier enregistré par les iPhone 13 ne contient pas qu’une piste vidéo et une piste audio, il intègre aussi une piste supplémentaire pour cette carte des distances. C’est un format propriétaire et non documenté, mais ce chercheur a réussi à comprendre son fonctionnement et surtout à l’extraire. De quoi visualiser la base de travail du mode cinématique en parallèle d’une vidéo :
Plusieurs enseignements peuvent être tirés grâce à cette extraction. Le premier, c’est que le mode cinématique génère une carte de définition bien inférieure : alors que la vidéo est tournée en 1080p, une image de 1 920 pixels de large sur 1 080 pixels de haut, la piste vidéo des distances se contente de 320 pixels sur 180. Cela explique pourquoi les détourages autour d’un sujet net peuvent être aussi baveux, c’est parce que les mesures de distance sont encore peu précises.
Autre enseignement essentiel, l’analyse ne fonctionne que sur une très courte distance. Vous pouvez le voir sur la vidéo précédente : tout ce qui est proche de l’iPhone est en blanc, tout ce qui est distant en gris. Notez comment la piste des distances est presque uniformément grise sur cette vidéo tournée dans la rue. Le mode cinématique est optimisé pour un sujet proche et il fonctionne mal dans tout autre contexte.
Sur les iPhone 13 Pro, Apple aurait pu obtenir de bien meilleurs résultats en exploitant le LiDAR, ce laser dédié à la mesure des distances précisément. Ce même chercheur le prouve avec cet autre vidéo qui juxtapose trois éléments : une vidéo en mode cinématique, la carte de distance générée par le mode et enfin une carte des distances produite par le LiDAR. On voit bien que cette dernière est non seulement plus précise (les limites d’objets sont plus nettes), elle est aussi plus complète et détecte les distances plus loin.
Pourquoi ne pas avoir utilisé le LiDAR dans ce cas ? Peut-être parce que les iPhone 13 en sont dépourvus et qu’Apple ne voulait pas différencier la fonction sur les deux gammes. Peut-être aussi parce que l’Apple A15 n’est pas encore suffisant pour gérer la carte de distance plus précise du LiDAR.
Quoi qu’il en soit, c’est une information à garder en tête pour mieux utiliser cette nouveauté des iPhone 13. Choisissez soigneusement votre mise en scène pour obtenir de meilleurs résultats et en particulier, pensez à vous rapprocher au maximum du sujet principal.
Ça reste quand même impressionnant
Arnaque !
Remboursez !
Le Lidar du 12 Pro est identique à celui du 13 pro, donc le 12 Pro est capable en tous points de sortir le cinematic mode. C'est donc un vol marketing.
@romgiotti
A moins que ce ne soit pas le LIDAR qui soit le goulot d’étranglement mais le Processeur (l’article émet l’hypothèse que l’A15 serait la limitation, alors l’A14 ne doit pas faire mieux).
Apres, possiblement le 12 Pro pourrait avoir ce « mécanisme » je suis d’accord avec vous.
Au pire, une application tierce se développera p-e pour prendre en charge le LIDAR pour cette fonction (sur le 13 Pro et le 12 Pro)?
@pelipa91
Si c’était une question de processeur, alors l’iPad Pro M1 en serait doté de ce cinématique mode.
L’année prochaine, Apple dira que leurs ingénieurs on travaillés très dur pour porter le cinématique mode sur les modèles X, 11 et 12… ils ont fait ça avec le mode portrait
Heu non.
De mémoire le mode "portrait" n'est jamais sortis sur des devices qui n'en étaient pas pourvu précédemment.
Ils sont sortis sur des devices qui n'avaient pas de double appareil photos (coucou l'iPhone XR), mais il en a été doté dès le départ.
Le mode portrait est arrivé en premier sur l'iPhone 7 plus. Je ne pense pas que tu puisses le trouver sur les iPhone 7, ni 6S/6, etc...
N'espère pas arriver le mode cinématique sur des "anciens" devices. Ca n'arrivera pas, c'est pas le genre de la maison ;-)
@romgiotti
L’article explique justement que le Lidar n’est pas mis à contribution pour le mode cinématique ;)
@wip
Je précise que c'est une hypothèse personnelle, je ne sais pas si c'est l'explication…
@romgiotti
Justement le mode cinématique n'utilise pas le LIDAR, tu as lu l'article ?
ça sautille quand même pas mal avec le LiDAR. Pas facile de faire du détourage propre avec ce genre de défaut peut-être.
@roccoyop
C'est vrai, mais je crois que c'est pareil avec la carte du mode cinématique, c'est juste que ça se voit moins à cause de la définition nettement moins bonne. Je peux me tromper cela dit.
@roccoyop
Me demande si la vue avec le LiDAR est faite en même temps ou pas. Comment faire l’enregistrement avec le LiDAR et mode cinématique en même temps ?!?!
En même temps, Apple vend la fonction pour faire des scènes de cinéma. Pas pour filmer dans la vie de tous les jours. Donc la fonction fonctionne bien dans le cadre pré défini et très limitatif. Ça viendra avec le temps…
mais au final ios15 est une beta !.. je trouve que cela égratigne la marque… ne comprend pas. Ensuite je pense attendre les prochaines mise à jour pour le renouvellement de mon 11 Pro max et celui de madame… trop de bug
Mais tout est dans le flou 😅
Après la myopie est logique. De loin, on ne va pas flouter le paysage pour mettre net un arbre de ce paysage.
« Pourquoi ne pas avoir utilisé le LiDAR dans ce cas ? »
Bah parce qu’il faut bien quelque chose de nouveau à annoncer pour la keynote de l’an prochain.
Bingo!
Donc cette couche est bien en basse définition
C’est assez lourd à priori puisque est une piste vidéo noir et blanc certes.
Un compromis poids/résultats sans doute.
Il faudrait sortir la calculette et j’ai la flemme.
Ce mode fonctionne à tout les frame rates?
@xDave
Uniquement en 1080p@30.
C’est franchement à se demander à quoi sert le LiDAR…
Vous avez pas l’impression que ce système serait très pertinent pour un objet lié à la réalité mixte ?
C'est normal, la variation de mise au point suit une loi inverse. Plus la MAP est effectuée loin plus la profondeur de champ est grande. Lorsque la distance de MAP est très supérieure à la distance focale, la MAP devient très proche de la MAP à l'infini, et ne varie que très peu avec une variation de distance du sujet.
C’est moche… Pas bien fini. Je ne remet pas en cause la fonction mais clairement elle n’est pas finie.
Et le LiDAR ??
Apple aurait pu soit mettre le LiDAR sur toute la gamme (il est temps si l’objectif est de préparer des Apple Glasses avec les iPhone comme testeurs avant-gardistes et pour avoir un mode cinématique de qualité), soit proposer un meilleur mode avec les iPhone 13 Pro…
J’ai du mal à croire que l’A15 ne serait pas capable de gérer le LiDAR, ou alors ça servait à quoi de l’intégrer ? Ce n’est pas juste pour l’app « Mesures » qu’on utilise une fois par an si ?! (Parce que la mise au point automatique de l’iPhone 12 Pro est horrible à courte distance…)
« Pourquoi ne pas avoir utilisé le LiDAR dans ce cas ? Peut-être parce que les iPhone 13 en sont dépourvus et qu’Apple ne voulait pas différencier la fonction sur les deux gammes. Peut-être aussi parce que l’Apple A15 n’est pas encore suffisant pour gérer la carte de distance plus précise du LiDAR. »
C'est une version bêta et le résultat est juste ridicule
Que vaut ce mode par rapport à l’app Focos Live ?
Focos Live fonctionne très bien sur mon iPhone 11 Pro et semble donner plus de possibilité de réglage.
En plus c’est aussi un très bon outil de montage plus complet qu’iMovie IOS.
Je viens en plus de voir qu’à priori, l’app Focos Live utilise le LIDAR pour les appareils équipes.
Version 1.2 « Avec la technologie LiDAR sur l'iPhone 12 Pro, Pro Max et l'iPad Pro, vous pouvez enregistrer des portraits vidéo avec une carte de profondeur de meilleure qualité qu'avec le double objectif.
La technologie LiDAR fournit une profondeur de
champ et des bords plus précis et la possibilité
d'enregistrer jusqu'à 60 images par seconde. »
Quelqu’un a pu comparer ?
Comme dit Simnico, on n’a pas besoin d’avoir un dégradé linéaire de 1cm à l’infini. Seul les objets qui sont proches de la caméra profitent de cet effet net/flou pour simuler un rendu de profondeur de champ photographique. Une rue quasi déserte prise avec un 35mm sera nette de 3-4 m jusqu’à l’infini. Aucun intérêt de créer un flou sauf à vouloir avoir un effet maquette (qui peut être sympa cela dit si on abuse pas de cet effet)
Donc ils prennent en otage les versions Pro parce qu’ils veulent pas faire de différence avec les modèles normaux ? 😐