Les animojis ont beau ressembler à une fonction gadget, ces émojis qui imiteront les mouvements du visage des utilisateurs d'iPhone X sont le fruit d'une technologie particulièrement complexe dont les racines proviennent du cinéma. Et tout particulièrement des techniques de motion capture dont les premiers balbutiements remontent au mitan des années 2000, explique Wired.

Mark Pauly, cofondateur de Faceshift et directeur du laboratoire d'informatique graphique et géométrique de l'École polytechnique de Lausanne, voulait améliorer les prises de vue en motion capture, qui à l'époque nécessitaient de gros moyens : studio, costumes spéciaux, et bien sûr des acteurs pour incarner les créatures des films de science-fiction comme Avatar.

Beaucoup de temps et d'argent étaient investis durant ces séances d'enregistrement, rappelle Hao Li, le directeur du labo Vision and Graphics de l'université de Californie du Sud, qui a obtenu son PhD (doctorat) à Lausanne. Pauly, Li et quelques chercheurs dont la plupart travaillent maintenant pour Apple ont planché sur le remplacement des costumes de mo-cap par des algorithmes sachant suivre à la trace les moindres mouvements du visage.

L'objectif de cette fine équipe était de créer des avatars numériques sachant reproduire les expressions du visage en temps réel. Ces algorithmes doivent se montrer suffisamment robustes pour prendre en compte les variations lumineuses, les différents mouvements de la tête, l'apparence des visages en fonction de l'ethnicité du sujet, son âge, etc.

Si les caméras 3D étaient à l'époque suffisamment puissantes pour capturer de nombreuses données, il fallait encore que l'ordinateur sache quoi en faire. Hao Li explique que les algorithmes ont dû ingurgiter un ensemble de visages et d'expressions qui leur ont permis de construire des modèles 3D pouvant décrire différents types de population dans différents environnements. Tout cela permet au « nuage » de points 3D de créer un avatar sachant reproduire les expressions faciales de l'utilisateur.

Cette technologie est au cœur des animojis de l'iPhone X, qui procèdent de l'acquisition de Faceshift (en 2015), mais aussi de Primesense (en 2013), ou encore Metaio (en 2015). Elle sera aussi utilisée dans d'autres apps comme Snapchat pour ses fameux filtres, et nul doute que l'on verra des usages moins farfelus à l'avenir.