La motion capture à portée de (presque) tous avec l'iPhone X

Mickaël Bazoge | | 17:30 |  17

L'iPhone X et sa caméra TrueDepth pourraient bien remplacer un équipement de studio de plusieurs milliers de dollars. Le studio Kite & Lightning, qui développe des expériences de réalité virtuelle, teste actuellement une solution à base d'iPhone X pour la motion capture de personnages en 3D. Le développeur Cory Strassburger utilise TrueDepth pour enregistrer les expressions faciales des personnages virtuels qui peupleront le prochain jeu du studio, Bebylon: Battle Royale.

Le développeur a combiné une tenue Xsens de motion tracking pour le corps avec l'iPhone X pour le visage, en sachant que les mouvements du corps et du visage sont ensuite moulinés dans Maya. L'objectif est de limiter au maximum les dépenses, tout en obtenant un résultat très professionnel.

Cory porte sur la tête le même genre de casque de protection que ceux qu'on utilise dans des matchs de paintball, accompagné d'un bras articulé pour GoPro adapté à l'iPhone. Le tout a coûté 200 $. Il a ajouté un second bras à l'arrière qui porte un autre smartphone servant à enregistrer sa voix et à filmer l'iPhone X pour les besoins de la démo.

Cela permet notamment de voir à quel point le visage virtuel créé par l'iPhone « tremble » : « je pensais que le résultat allait être horrible à cause des mouvements et des rotations de la tête », explique le bidouilleur au site UploadVR. « L'iPhone X perd constamment la stabilité de la trajectoire, je voyais beaucoup de tremblements dans la tête virtuelle ».

Cliquer pour agrandir

Cela n'a toutefois eu aucun impact sur les données recueillies par le smartphone. « Les données du visage étaient aussi fiables que si [l'iPhone X] avait été stable ». L'application conçue par Cory convertit ces informations à la volée pour être utilisées par la suite dans Maya. La tenue Xsens — dont le prix débute à 12 000 $ tout de même — fait le reste.

Le résultat est plutôt convaincant, et il met la motion capture professionnelle à portée d'un petit studio d'effets spéciaux ou de jeu vidéo (une extension pour le moteur Unity est d'ailleurs en développement). Tout un chacun peut tester dès aujourd'hui cette technologie avec l'iPhone X et les Animojis ! Ces émojis qui reproduisent les mouvements du visage sont directement tirés des travaux de Faceshift, un pionnier de la motion capture acquis par Apple en 2015 (lire : Les Animojis reviennent de loin).

Catégorie : 

Les derniers dossiers sur iGeneration

Ailleurs sur le Web


17 Commentaires Signaler un abus dans les commentaires

avatar Phiphi 11/01/2018 - 18:00 via iGeneration pour iOS

Walou 😳 de la balle 👍

avatar C1rc3@0rc 12/01/2018 - 01:29

Oui, enfin va quand meme falloir qu'Apple fasse un petit effort sur les batteries parce qu'avec une exploitation aussi intensive du motion tracking, c'est pas un an que survivra l'iPhone, mais 3 mois a tout casser...

Bientot un produit derivé Truedepth autonome chez Apple comme chez DJI avec sa poignée stabilisée?
Sauf que selon les tarifs d'Apple ça va taper dans les milliers de dollars.

Sinon il faut rappeller qu'Apple a expliqué que Truedepth etait utilisé ponctuellement et que c'etait des algorithmes de MC exploitant la camera plus classiquement qui etaient a l;oeuvre lors du suivi pour animoji, donc TrueDepth n'est pas necessaire pour animoji...

avatar GenreDown1 11/01/2018 - 18:00 via iGeneration pour iOS

Je suis littéralement sur le c*l

avatar vegju 11/01/2018 - 18:08 via iGeneration pour iOS

😳😳😳😳😳😳😳😳😳

avatar iDanny 11/01/2018 - 18:44 via iGeneration pour iOS

La fin de la vidéo 🤣

avatar SugarWater 11/01/2018 - 18:46 via iGeneration pour iOS

Un petit pas pour l'homme un grand pas pour les emojis

avatar ovea 11/01/2018 - 18:54 via iGeneration pour iOS

Toujours le même problème insupportable avec cette technique:

LES YEUX DE POISSONS

l'expression des yeux est morte

Voir : Tintin de Spielberg et l'Orient-Expresse, deux films d'animation qui donne envie de vomir

avatar SIMOMAX1512 11/01/2018 - 21:47 via iGeneration pour iOS

@ovea

Tu as regardé la vidéo avant de crier aux yeux de poissons ? Sur la vidéo les jeux bougent sont plutôt expressifs .

avatar ovea 11/01/2018 - 22:02 via iGeneration pour iOS

@SIMOMAX1512

Ha bon !?!?

DSL ch'u agnosique et peut-être bien agneau … non, agnostique

avatar Mac_Gay 12/01/2018 - 13:10 via iGeneration pour iOS

@ovea

Etaussi l’absence de langue...

avatar ovea 12/01/2018 - 13:47 via iGeneration pour iOS

@Mac_Gay

Oui, c'est vrai qu'après avoir un bon contact visuel et une bonne synchronisation labiale,
La vitalité du regard et le comportement de la langue sont plus qu'important: essentiel, même si la langue reste pour le moins cachée mais toujours au bord des lèvres … sauf ici ou la bouche est tout le temps ouverte, ce qui ne reflète pas du tout le jeux d'acteur.

avatar lolodigital78 11/01/2018 - 19:53 via iGeneration pour iOS

Une définition de capture plus fine du visage et surtout des yeux, une IA adaptée et tout ceci sera bientôt à la portée du grand public.
Impressionnant !

avatar yurt 12/01/2018 - 07:14 via iGeneration pour iOS

On en parle de cet horrible bébé rockeur aux cheveux violets ? 🤢

avatar pat3 12/01/2018 - 08:32 via iGeneration pour iOS

@yurt

Ah toi aussi tu l’as trouvé immonde? Je ne comprends pas bien ce choix esthétique…

avatar KimoMac 12/01/2018 - 10:28 via iGeneration pour iOS

@pat3

Génération sans goût....

avatar gwen 13/01/2018 - 10:52 via iGeneration pour iOS

@pat3

C’est également ce que j’ai vu en premier. Une technique peut être intéressante mais mise en œuvre sur un graphisme 3D que je trouve immonde. Mais bon, c’est peut être moi qui ai mauvais goût.

avatar klouk1 12/01/2018 - 08:34 via iGeneration pour iOS

Très très impressionnant