Les animojis exploitent la caméra TrueDepth, mais pas en permanence [MàJ]
À en croire Apple, les animojis ne sont pas possibles sans la caméra TrueDepth bardée de capteurs de l’iPhone X :
La caméra TrueDepth donne vie aux emoji de manière aussi fun qu’inédite avec les animoji. En exploitant la puce A11 Bionic, la caméra TrueDepth capture et analyse plus de 50 mouvements des muscles faciaux, puis reproduit ces expressions sous forme d’une douzaine d’animoji différents.
Et pourtant, comme le relève le youtubeur Marques Brownlee, il semble que les animojis n’exploitent que la caméra avant de l’iPhone X. Tous les composants autour (caméra infrarouge, illuminateur infrarouge, projecteur de points…) ne sont apparemment pas utilisés.
Vous pouvez faire le test : masquez tous les capteurs de l’ensemble TrueDepth à l’exception de la caméra, et vous verrez que les animojis suivent toujours vos grimaces. Nous n’avons pas constaté de dégradation de la reconnaissance en obstruant tous les capteurs secondaires.
C’est pareil avec la reconnaissance faciale dans l’application tierce AR MeasureKit : l’iPhone X peut toujours cartographier votre visage sans les capteurs secondaires. Mais peut-être que l’application ne tire pas parti de toutes les possibilités offertes par Apple ou ne montre pas les informations recueillies par les capteurs annexes. Dans la documentation dédiée aux développeurs, Apple indique en effet que les apps tierces peuvent exploiter « toutes les capacités de la caméra TrueDepth. »
Quoi qu’il en soit, en l’état actuel des choses, il semble que les animojis pourraient tout à fait être disponibles sur l’iPhone 8 et l’iPhone 8 Plus qui ont la même caméra avant que l’iPhone X. La reconnaissance 3D est sans doute assurée par le capteur de détection de distance par mesure du temps de vol qui figure aussi bien sur l’iPhone X que sur les iPhone 8. Contactée par The Next Web, Apple n’a pas (encore) fait de commentaire.
[MàJ 15/11/2017 18h03] : René Ritchie vient apporter des précisions sur le fonctionnement des animojis et des autres apps de suivi du visage sur l'iPhone X. Le journaliste a obtenu une confirmation de la part d'Apple : le système TrueDepth est bien utilisé pour les animojis, mais pas systématiquement.
Quand on enregistre un animoji, l'iPhone X utilise bien initialement un nuage de points en trois dimensions créés par les mêmes capteurs à infrarouges utilisés par Face ID. Néanmoins, le suivi des mouvements du visage se fait ensuite avec la caméra avant, sans utiliser TrueDepth. Par la suite, Apple exploite de temps en temps les données en trois dimensions pour ajuster le suivi, mais c'est bien la caméra avant qui travaille en majorité.
De ce fait, les animojis pourraient effectivement être adaptés à d'autres iPhone, par exemple aux iPhone 8. Apple a privilégié un meilleur suivi du visage au détriment de la compatibilité, comme elle avait réservé l'enregistrement vidéo à l'iPhone 3GS, comme rappelle René Ritchie.
Reste maintenant à savoir comment se comporterait un iPhone sans True Depth… on peut certainement compter sur les développeurs/bricoleurs pour trouver comment adapter les animojis aux autres appareils iOS !
C’est simplement pourquoi ça ne fonctionne pas en basse luminosité ou dans le noir, car ils n’exploitent pas les autres capteurs
@Nitneuqq
C’est tout à fait ce que j’ai constaté hier soir.
Et donc en fait la modelisation 3D du visage serait possible a partir de la camera video de l'iPhone sans avoir besoin de Truedepth... modelisation en 3D a partir d'une image en 2D...Mais alors, ça voudrait dire que Fak... rahhhhhh
Marques, tu vas te faire taper sur les doigts ! ??
Perso chez moi ça tremble de partout. Pourtant j’ai essayé sans lunettes, dans un environnement lumineux, mais rien n’y fait.
C’est sans doute pas fait pour moi ?
@mssinkro
Ça arriverait moins peut-être en stabilisation d'images constituées de Pixol (= Pixel with depth, orientation and material information) ?
Simple. Allez dans le noir. Cachez la moitié basse de l’écran et... votre animoticone ne bouge plus... donc pas de true d utilisé
@406
C'est parce que ton écran t'éclaire la figure et qu'ils n'utilisent pas le système infrarouge. Baisser la luminosité aurait probablement le même effet.
Damned. Trop lent a la frappe =))
Quand j'ai vu la vidéo ça m'a surpris aussi. Je ne sais pas si tous les iPhone pourraient, mais vu que le 8 a la même puissance, on peut se dire que oui...
Stupide et très stupide. Qu’en est-il des données stockées dans l’appareil sur le visage en utilisant la caméra TrueDepth?
Chouette ! Algo adaptatif donc dispo même sur iPhone 6
Malheureusement le développeur d’AnimojiStudio indique que la librairie AvatarKit ne fonctionnent pas si la caméra TrueDepth n’est pas disponible.
http://bit.ly/2AHx9r1
La caméra de VraiProfondeur doit être disponible mais pas forcément utilisée ?
Qu’ils utilisent le TrueDepth ! Au moins la qualité sera meilleure qu’actuellement ?
J’ai fait le test et c’est assez curieux... en cachant les capteurs, au bout d’un moment ça se met à saccader, je retire le doigt des capteurs et ça devient de nouveau fluide instantanément, je remet le doigt et ça reste fluide, au moins pendant un moment.
Ça doit utiliser les capteurs TrueDepth mais pas en continu, quelque chose comme ça ???♂️
Ou alors le téléphone utilise les capteurs 3D pour modéliser le visage au lancement des Animojis puis utilise uniquement la caméra par la suite pour tracker, pour éviter de faire fondre la batterie et le processeur.
@sylvain15250
Oui en effet je pense à quelque chose comme ça.
Car sinon, tous les capteurs activés en permanence feraient fondre la batterie dans ce genre d'app?
@mat 1696
Bah voilà confirmation que c'est exactement ça.
@sylvain15250
Ça parait tres coherent.
En fait il suffit une fois qu'on a un modele 3D, d'etablir quelques points de reference pour plaquer l'image dessus puis suivre les deformations de ces points en 2D pour les calculer en 3D... Ca demande de la puissance de calcul, mais c'est pas la mort face au monstre de puissance qui anime ces iPhones.
Si on rajoute a cela qu'Apple indique de Fake ID ne peut pas fonctionner s'il y a moind de 10% de batterie, cette hypothese se renforce...
Bref...
MDR la tronche du mec sur la photo ?. À coup sûr il est célibataire ?
Et toi t'es sûrement un boutonneux ?
@Elkaar
Elle est où l'obsolescence programmé ?
Mais puisqu'on vous dit que TrueDepth est utilisé pour initialiser le visage au départ... et de temps en temps apporte des correctifs lors de l'animation... Si on avait pu le faire avec une caméra normale, d'autres l'auraient fait depuis belle lurette...
Tu connais FaceRig ? Ils le font depuis belle lurette avec une caméra normale :
https://www.youtube.com/watch?v=cbIWRd514-s
On ne connaît pas la puissance de calcul sur le flux Vidéo dont FaceRig a besoin sur les serveurs de Stream pour une reconnaissance fluide et précise, comparé à cet avantage d'avoir la géométrie de l'objet dans un cône d'infrarouges invisible à proximité direct.
Si on veut vraiment en être sur, il suffit juste de filmer l’iPhone pendant qu’on utilise les Animoji, après suffira juste de regarder si le projecteur de points et l’illuminateur s’allument comme quand on utilise Face ID ^^
@MisteriousGaga
Je viens de tester. Le capteur de points s’affolent lors de l’utilisation des Animojis...
C’est des gros cons chez Apple. C’est inadmissible de réserver une techno à un appareil quand un autre le peut. C’est vraiment nous prendre pour des pigeons.
Retour du compliment
"Quand on enregistre un animoji, l'iPhone X utilise bien initialement un nuage de points en trois dimensions créés par les mêmes capteurs à infrarouges utilisés par Face ID. "
Heu c'est l'inverse... Fake ID exploite les possibilités de Truedetph, mais en detourne l'usage pour une fonction biometrique totalement inadequate et opportuniste.
Ce qui va changer c'est que dans le cas de l'authentitication c'est un modele mathematique de l'empreinte qui est stocke dans une zone distincte, alors que tout ce qui est animation, motion tracking est accessible dans l'application... C'est la base de la VR> suivre un objet en mouvement dans un décor.
"Inadequate et opportuniste" ? Tu comprends les mots que tu emploies ou pas ?
iX = bouger : En soirée avec un laser ?
Note : l'animateur à déjà un projeté repère avant tout sombre dessin ?
@romain_g
"nous prendre pour des pigeons."
Tu le découvres?
Ah voilà.
C’est quand même pas terrible de n’utiliser que la caméra. En effet en luminosité insuffisante cela ne fonctionne donc plus si seule la caméra travaille... et c’est exactement ce qui se passe.
Un autre truc qui m’agace c’est Face ID... cela ne marche pas bien du tout. Apparement il fait une période d’adaptation mais quand on est la tête sur l’oreillé et bien la c’est même plus la peine... là où l’empreinte digitale fonctionne parfaitement :(.
Parfois j’ai l’impression qu’Apple fait deux pas en avant et trois pas en arrière :(.
Pour une interface holographique et peut-être à retour de force … plus tard ;)
Il fallait/faut une fonction unique au X justifiant son tarif d'où les animoji qui "nécessitent" le true depth mais il est probable que cette fonction (indispensable) eut put être développé pour un iphone classique dans une forme assez aboutie.
Je pense que les masques des filtres montrées au keynote sont eux bien plus exigeants.
Appl€ avait déjà menti au sujet de Siri , à l’époque seul le 4s muni d’un deuxième micro pouvait le faire fonctionner...à quand une class action contre ces mensonges ?
Tu vas faire une class-action parce qu'une une fonctionnalité qui n'est pas annoncée n'est pas présente sur ton Téléphone ?
J'ai fait quelques tests en masquant la camera True Depth avant d'allumer le téléphone.
Les animojis et le code d'example Creating Face-Based AR Experiences fonctionnent avec uniquement la caméra standard. Donc ça pourrait tourner sur d'autres iPhone.
Par contre, les Animojis et ce code d'exemple utilisent bien la camera True Depth pour améliorer le résultat.
Voir mon tweet sur le sujet https://twitter.com/WeetA34/status/931687607842541568
Sans la caméra True Depth, on obtient un masque générique qui n'a rien à voir avec celui obtenu avec la caméra True Depth