Roll promet de recréer des travellings et des plans grues avec votre iPhone grâce à l'IA

Félix Cattafesta |

Roll est une nouvelle application visant à améliorer la qualité des vidéos prises à l'iPhone grâce aux IA génératives. Elle propose notamment de créer des plans multicams, des effets bokeh, mais aussi des travellings ou des plans grue simplement avec un téléphone immobile.

Le projet vise un public particulier de semi-professionnels ayant besoin d'une belle image pour leurs contenus créés avec des invités à distance, comme les podcasters, les personnes réalisant des interviews ou des vidéos d'entreprise. L'idée est de proposer une app d'enregistrement vidéo simple à prendre en main pour les participants comme pour les créateurs. Le niveau promet d'être au-dessus que ce qu'offrent Zoom ou Teams, ces logiciels n'ayant pas été pensés pour des scénarios où la qualité d'image compte vraiment.

En pratique, l'application iOS de Roll va capturer la vidéo avant de l'envoyer dans le cloud maison de l'entreprise. Elle sera alors traitée par IA, qui va proposer un montage automatique. L'entreprise explique également utiliser l'IA pour recréer le décor des participants en 3D, ce qui permettra aux monteurs de créer des effets de caméras comme des plans à la grue ou des travellings même si l'iPhone ne bouge pas. Il est possible de prévisualiser les effets disponibles, et l'app s'occupe de générer un montage prêt à être partagé, prochainement disponible sous différents formats pour les réseaux sociaux.

Plusieurs personnes peuvent participer à une vidéo simultanément, et des modifications supplémentaires peuvent être faites via un navigateur (par exemple pour ajouter des mouvements de caméra ou un effet bokeh). Le programme peut enregistrer deux flux en même temps pour fournir un similimulticam. L'application enregistre en HEVC afin de proposer une bonne qualité d'image sans faire gonfler le poids des fichiers.

La rapidité d'action liée à l'IA et les différents choix d'effets devraient sans conteste séduire certains professionnels, qui pourront publier une interview sans efforts quelques minutes après avoir raccroché. Le concept pourra aussi servir aux créateurs de vidéos (Youtubeur, influenceurs) qui pourront facilement incruster des interviews en bonnes qualités dans leurs productions. Leurs différents interlocuteurs n'auront plus besoin d'avoir de matériel chez eux, et pourront simplement s'enregistrer avec leur iPhone pour un résultat professionnel.

Sous le capot, Roll utilise des algorithmes et les métadonnées des enregistrements pour peaufiner son montage et ses effets. Ils permettent à l'IA d'obtenir des informations supplémentaires sur la composition de la vidéo et l'éclairage. Les algorithmes sont aussi utilisés pour générer les différentes coupes dans les enregistrements à plusieurs.

PetaPixel a pu assister à une démo et explique que le résultat est bluffant. TechCrunch estime que les résultats ne sont « pas mauvais », même si on frôle parfois la vallée de l'étrange sur certains plans. Si on n'abuse pas trop sur les effets et dans de courtes scènes, le résultat semble convaincant et permettra de rendre plus accrocheur une bête interview face caméra.

L'app est disponible sur iOS et propose un essai gratuit offrant de traiter 2 heures d'enregistrement. On pourra ensuite mettre au pot pour 5 heures par mois ou plus, les tarifs allant de 50 $ à 199 $. Une version Android devrait arriver par la suite.

avatar marc_os | 

Moi aussi je veux des plans grues. 🤪

avatar Phiphi | 

Oui d’un certain côté c’est bluffant mais visuellement on voit bien quand même qu’il y a quelque chose de pas naturel.
Ca ressemble plus à une vidéo fond vert collée sur un arrière plan qu’à une prise unique.

avatar joneskind | 

@Phiphi

Oui, il y a un côté artificiel, mais je ne pense pas que ce sera un problème pour des publications à destination des mobiles (Tik Tok, Shorts etc.) qui sont de toute façon déjà blindés d’effets plus ou moins bienvenus.

Ça reste intéressant malgré tout je trouve. Y a un petit côté « bricolé avec les moyens du bord »

avatar fleeBubl | 

Menfin, avec la déferlante d’app dans le genre qui vont arriver, et à la vue du « progrès » (ou la preuve de concept) que cela représente, on se rend bien compte de … que la technologie employée sera bien plus utile, pour une blinde de trucs plus chouette
🦉 🥳
(à rXiv)

avatar iPop | 

Gru enter the chat

avatar AKZ | 

Personnellement, je n’en peux plus de ces effets de caméra gratuits et inutiles sur des personnes immobiles.
Un plan fixe, c’est beau et suffisant si il est bien pensé et si le contenu est intéressant…
Je trouve les exemples de cet article à gerber. Encore un truc que l’intelligence artificielle va artificial!ser.

avatar fleeBubl | 

@AKZ

MEnfin !

C’est pas vraiment de l’IA, enfin bref :
- C’est plus une technique semblable mais, plus avancée, que celle qui calcule la profondeur de champ sans LiDAR.
- Seule la caméra suffit ! Et plusieurs applications de photo pour les iPhone (qui n’en ont pas, de LiDAR) le propose avec une réussite approximative.
- on part de cette… technique de calcul très futé dite de survol (grosso modo). Mais sans possibilité résultat visible !!!
- Là, on peut voir le résultat du travail de l’algorithme … en images !!!

CONNEXION UTILISATEUR