Avec AutoFlip, Google a mis au point un moteur d'analyse d'images pour recadrer une vidéo selon différents formats, sans perdre ou amputer ce qui fait l'intérêt de la scène. Depuis l'avènement des smartphones, il n'y a plus une seule manière de filmer, les ratios classiques de 16:9 ou 4:3 ont été bousculés par des apps et des utilisateurs qui filment aussi bien en paysage qu'en portrait.

AutoFlip doit permettre de générer plusieurs variantes d'un même film, tout en s'assurant que les sujets et les éléments importants de l'action restent dans le cadre.

Le système va d'abord analyser le film dans son entier. Les changements de scène sont détectés automatiquement en observant l'histogramme de chacune des images et en repérant lorsqu'il y a un changement de rythme dans la succession des couleurs.

Ensuite, il convient de repérer les individus, les visages, les animaux ou pourquoi pas un logo sur un bâtiment ou le ballon dans un match. Google utilise des ressources d'apprentissage automatique pour identifier ces éléments clefs de la scène.

Puis vient le moment de décider comment recadrer l'image autour des sujets importants. Cela peut être deux personnes qui se déplacent mais en restant au centre de l'image ou un animal ou une voiture qui va la traverser, ou encore des personnes qui se succèdent au fil de plusieurs plans et dans différentes situations.

Lorsqu'il s'avère compliqué de réunir tout le monde au centre de l'image, le logiciel peut aller dans deux directions. Soit faire l'impasse sur la présence de tout le monde à l'écran et couper certains visages. Soit, s'il est impératif de voir tout le monde, le logiciel utilisera quelques astuces, comme l'effet Letterbox qui conserve le ratio de l'image en ajoutant des bordures en haut et en bas pour occuper tout l'écran. Tout cela se fait d'une manière automatisée en fonction des besoins du réalisateur.

Si un fond uni est présent derrière les sujets, AutoFlip utilisera sa couleur pour se fondre au mieux avec les bordures, sinon il exploitera un effet de flou à partir de l'image originale. Au final, le logiciel peut décliner une même scène en un assortiment de formats, pour toutes sortes de supports de diffusion.

Dans les améliorations futures de son moteur, Google explique qu'il pourrait être utile de savoir repositionner, à l'intérieur du cadre, des textes ou des logos présents en périphérique et supprimés lors d'un recadrage. Dans ce cas c'est le contenu même de l'image qui est manipulé.

Ou encore, avec une technique dite du "recadrage profond", AutoFlip pourrait supprimer le recours aux bordures Letterbox en recréant et en ajoutant artificiellement de la matière dans l'image pour remplir l'écran d'une manière réaliste.

Ce framework AutoFlip continue d'être amélioré par Google, lequel est ouvert aux contributions de développeurs de logiciels et de réalisateurs de films pour l'améliorer.