L'iPhone X et sa caméra TrueDepth pourraient bien remplacer un équipement de studio de plusieurs milliers de dollars. Le studio Kite & Lightning, qui développe des expériences de réalité virtuelle, teste actuellement une solution à base d'iPhone X pour la motion capture de personnages en 3D. Le développeur Cory Strassburger utilise TrueDepth pour enregistrer les expressions faciales des personnages virtuels qui peupleront le prochain jeu du studio, Bebylon: Battle Royale.
Le développeur a combiné une tenue Xsens de motion tracking pour le corps avec l'iPhone X pour le visage, en sachant que les mouvements du corps et du visage sont ensuite moulinés dans Maya. L'objectif est de limiter au maximum les dépenses, tout en obtenant un résultat très professionnel.
Cory porte sur la tête le même genre de casque de protection que ceux qu'on utilise dans des matchs de paintball, accompagné d'un bras articulé pour GoPro adapté à l'iPhone. Le tout a coûté 200 $. Il a ajouté un second bras à l'arrière qui porte un autre smartphone servant à enregistrer sa voix et à filmer l'iPhone X pour les besoins de la démo.
Cela permet notamment de voir à quel point le visage virtuel créé par l'iPhone « tremble » : « je pensais que le résultat allait être horrible à cause des mouvements et des rotations de la tête », explique le bidouilleur au site UploadVR. « L'iPhone X perd constamment la stabilité de la trajectoire, je voyais beaucoup de tremblements dans la tête virtuelle ».
Cela n'a toutefois eu aucun impact sur les données recueillies par le smartphone. « Les données du visage étaient aussi fiables que si [l'iPhone X] avait été stable ». L'application conçue par Cory convertit ces informations à la volée pour être utilisées par la suite dans Maya. La tenue Xsens — dont le prix débute à 12 000 $ tout de même — fait le reste.
Le résultat est plutôt convaincant, et il met la motion capture professionnelle à portée d'un petit studio d'effets spéciaux ou de jeu vidéo (une extension pour le moteur Unity est d'ailleurs en développement). Tout un chacun peut tester dès aujourd'hui cette technologie avec l'iPhone X et les Animojis ! Ces émojis qui reproduisent les mouvements du visage sont directement tirés des travaux de Faceshift, un pionnier de la motion capture acquis par Apple en 2015 (lire : Les Animojis reviennent de loin).
