Apple a vu des films avant de créer le mode cinématique des iPhone 13

Nicolas Furno |

Quand Apple a créé les éclairages de portrait pour les iPhone 8, Phil Schiller expliquait en interview que les ingénieurs de Cupertino avaient analysé non seulement des photos, mais aussi des portraits peints pour créer la nouvelle fonction. Quatre ans plus tard, rebelote, mais cette fois pour le mode cinématique des iPhone 13 et avec le cinéma.

Édition d’une vidéo en mode cinématique (image TechCrunch).

Matthew Panzarino de TechCrunch a papoté avec Kaiann Drance, vice-présidente en charge du marketing iPhone, et avec Johnnie Manzari, l’un des designers en charge de l’interface chez Apple. Son interview revient sur la fonction, ses limites et aussi la création de ce mode. Comme toujours, l’entreprise tient à rappeler qu’elle n’a pas essayé de créer une fonction, elle a cherché une réponse à une question.

La question en l’occurrence concernait les films, les vrais, ceux que l’on peut voir au fond de son canapé ou au cinéma. Qu’est-ce qui les rend intemporels ? Qu’est-ce qui les distingue d’une vidéo tournée à l’iPhone ? Pour commencer, Apple a donc… vu beaucoup de films, et parlé avec des réalisateurs et techniciens dans le monde du cinéma. Une constante s’est dévoilée à travers les âges : la mise au point est un élément clé de la mise en scène.

L’élément net à l’image est un outil essentiel pour raconter une histoire, tandis que le flou autour de cet élément facilite la compréhension du film en guidant le spectateur. Fort de ce constat, les créateurs de la fonction se sont rendus sur des tournages pour comprendre à la fois les choix du directeur de la photographie — qui est responsable de l’image au sens large — et les gestes des opérateurs. Ils ont analysé comment le « pointeur », la personne chargée de tourner la bague de mise au point sur les caméras, travaille.

La caméra peut être gérée par deux personnes : l’une pour contrôler le cadre, l’autre pour manipuler la bague de mise au point (photo Wikimedia Commons).

Tout ce savoir a permis de collecter des informations sur les techniques de tournage, pour ensuite les convertir en fonctions accessibles pour le grand public. Sur un tournage, c’est un travail minutieux et complexe qui nécessite de coordonner plusieurs opérateurs et les acteurs, mais aussi de contrôler entièrement l’environnement. Sur un iPhone, cela doit être une fonction utilisable par n’importe qui, en tenant le smartphone et en le laissant travailler au maximum.

C’est pour cette raison que la mise au point évolue selon les regards des personnes filmées. La personne au premier plan est nette par défaut et l’arrière-plan est flou, mais si elle tourne la tête, le mode cinématique va tenter de deviner ce qu’elle va regarder, que ce soit une personne ou un objet, et faire la mise au point sur cet élément. C’est un classique au cinéma pour guider le regard du spectateur sur l’élément le plus important et tout est fait automatiquement par l’iPhone.

Autre idée, il faut anticiper l’entrée d’un personnage dans le cadre, pour coordonner le changement de mise au point au bon moment. Pour cela, les développeurs d’Apple ont eu une idée astucieuse : en mode vidéo, la stabilisation réduit le cadre pour garder de la marge, mais les capteurs sous les objectifs enregistrent davantage d’informations. Ces données sont utilisées par le mode cinématique pour anticiper la transition d’une mise au point à l’autre : l’iPhone « sait » qu’une personne va entrer dans le cadre avant qu’elle n’apparaisse à l’écran.

Ce savoir, combiné à la puce Apple A15 qui travaille dur pour afficher l’effet de flou en temps réel à l’écran tout en traitant les 30 images par seconde qui forment la vidéo finale, donne le mode cinématique. Qui est loin d’être parfait dans sa première version, comme Matthew Panzarino le relève et le prouve avec cet exemple tourné sans aucun accessoire lors d’un séjour à Disneyland.

La mise au point a plus de mal dans les environnements sombres et surtout l’édition a posteriori est vite indispensable pour corriger les erreurs en temps réel. Et puis l’effet de flou se trompe parfois, comme avec le mode portrait, en détourant n’importe comment les gens et objets.

Même sans aucun matériel supplémentaire, on peut aussi obtenir un résultat assez convaincant à condition de faire simple. Jonathan Morrison l’a prouvé avec ce clip réalisé entièrement en mode cinématique. La chanteuse se contente de marcher dans la rue et elle est la seule dans le cadre en permanence, ce qui simplifie le travail. Mais comme on peut le voir par intermittence, le youtubeur est seul devant elle et il tient l’iPhone à bout de bras, il n’a même pas de stabilisateur pour s’aider.


avatar pariscanal | 

Hâte de voir le pro res en slowmo !

avatar TrollMan06 | 

@pariscanal

Une chose est sure, c’est qu’ils ne les ont pas regardé sur Apple TV+ 🤭

avatar l3chvck | 

Au lieu de regarder des films ils auraient mieux fait de passer un peu plus de temps à debugger iOS 15. C’est honteux a quel point c’est buggué.

avatar macbook60 | 

@l3chvck

Bonjour
Pas chez tout le monde

avatar Lemon19 | 

@macbook60

Ce n’est quand même pas très brillant. L’écosystème des produits serait-il devenu trop large pour faire face à tous les cas de figure ? J’espère que nous ne sommes pas en voie d’Androisation

avatar macbook60 | 

@Lemon19

Bonjour
Non il y aura une mise à jour qui va régler ça .

avatar Lemon19 | 

@macbook60

Oui, heureusement. Après j’avoue que les équipes d’Apple Care niveau 2 sont très impressionnantes de transparence et de professionnalisme.

avatar cocotux | 

@Lemon19

+1
En effet c’est ridicule tous les appareils qu’ils présentent chaque année… forcément les OS sont impactés

avatar mat83 | 

@l3chvck

Moi un bug qui m’embête vraiment, je sais pas si d’autres l’ont, c’est quand j’écoute de la musique en AirPlay avec une ou deux enceintes sonos et HomePod groupées avec le lecteur d’apple musique. Quand j’utilise la barre de son pour l’augmenter ou la baisser, automatiquement la barre me baisse le son tout en bas et me coupe donc la musique …

avatar rnov | 

@mat83

Oui il faut utilise les boutons. Il y a plein de bugs dans musique. Un autre, quand je suis dans la liste d’attente, la barre d’avancement de la musique est toujours active bien que masquée ce qui fait que quand je monte ou descends des titres je peux par inadvertance avancer ou reculer dans le morceau

avatar iPop | 

@l3chvck

Plus il y a de monde qui bosse sur un sujet, plus il y a des bug.
Pas le temps de les débusquer, il faut innover.

avatar YetOneOtherGit | 

@l3chvck

"Au lieu de regarder des films ils auraient mieux fait de passer un peu plus de temps à debugger iOS 15. C’est honteux a quel point c’est buggué."

Une antienne qui revient à chaque upgrade tu peux faire un bot pour la publier chaque année 😎

avatar fte | 

@YetOneOtherGit

"Une antienne qui revient à chaque upgrade tu peux faire un bot pour la publier chaque année 😎"

Ce n’est pas parce que c’est répétitif que c’est faux. ;)

avatar YetOneOtherGit | 

@fte

"Ce n’est pas parce que c’est répétitif que c’est faux. ;)"

Ce n’était pas mon propos 😎

Par contre c’est peut-être à relativiser fortement 😉

avatar alexischadet | 

@l3chvck

c'est toi et ton porable le problème parce que honnêtement à partir de la beta 4 y'avait déjà plus de problème.

avatar XiliX | 

@l3chvck

Je ne savais pas que c’est la même équipe qui développe iOS, corrige les bugs, regarde les films, ajouter une fonctionnalité à la fonction vidéo… etc

Avec des milliards, ils auraient pu embaucher des développeurs quand même.
Est-ce qu’ils font la comm aussi ?

avatar Fanoo | 

Je me suis toujours demandé pourquoi les caméramen ont toujours les cheveux longs et le slip qui ressort en bas du dos…

avatar Labsyb | 

@Fanoo

Parce que ce sont tous d'indécrottables vieux hippies. Ils mangent macro-bio et ne font ce job que pour se payer un bout de terrain dans le Larzac.

avatar xDave | 

@Fanoo

Dans leur jeunesse on leur a donné le choix entre CAP Plomberie et Cinéma.

Pour les cheveux longs, je n’ai pas d’explication 😉

avatar iPop | 

@Fanoo

Allez, je m’essaye : pas de boulot, ils grossissent et ont les cheveux long. Au boulot, pas le temps de se couper les cheveux ni manger correctement, ils maigrissent du coup le pantalon flotte, le slip ressort.

avatar lulubotine | 

@Fanoo

Ils ont aussi une formation plomberie. C’est pour ça….

avatar oomu | 

@Fanoo

parce que c'est cool les cheveux longs.

avatar Lemon19 | 

Ont-ils aussi vu des films où l’Apple Watch ne déverrouille plus l’iPhone ?

avatar marenostrum | 

ils n'ont pas de masque. ça se déverrouille chez eux. le masque est ton problème seulement. en plus ne pas réfléchir comme il faut.

avatar Lemon19 | 

@marenostrum

En parlant de ne pas réfléchir comme il faut je crois que tu as beaucoup de mal à comprendre le sens de ce que j’ai écrit. Je te laisse le weekend pour y réfléchir, fais-moi signe lundi si tu n’as pas trouvé.

avatar marenostrum | 

c'est pas les même gens qui travaillent pour la partie Photo / Video que ceux qui s'occupent de la Face ID. Cook avait dit un moment que Apple embauche 6500 personnes que pour l'appareil photo de son iPhone.

d'ailleurs des bugs vient de ça, plusieurs équipes travaillent en même temps séparément, pour en garder le secret. le jour J, n'ont pas le temps de tout contrôler, il faut y aller sortir la nouvelle version même avec des bugs, la date de sortie est donnée d'avance par la direction.

avatar Lemon19 | 

@marenostrum

Mon message était une réponse humoristique pour dire qu’ils utilisaient une fonctionnalité sur la partie film, mais pas celle qui ne marchait pas, le déverrouillage. Bref…

avatar marenostrum | 

déjà il faut avoir un Apple Watch pour le constater. c'est pas le cas de beaucoup de monde. moi j'ai pas de Watch, et beaucoup aussi qui travaillent pour Apple. un Rolex est mieux quand même. ça te donne plus de présence.

avatar koko256 | 

Il faut dire quelle scène cinématographique la marche à Disneyland...

avatar Dziga_Vertox | 

Le plus impressionnant c’est la stabilité. L’iPhone fonctionne à merveille pour ça.

avatar GaelW-Mac | 

Et comme par hasard, je dis ça je dis rien, le Ted Lasso d’hier soir était truffé de focus 😏

avatar Nicolas Furno | 

@GaelW-Mac

🤯

avatar Eyquem | 

@GaelW-Mac

Ted lasso est vraiment une série publicitaire pour Apple, c’est assez dingue 😅

avatar alexischadet | 

@GaelW-Mac

ça s'appelle analyser et repérer involontairement des choses qu'on avait déjà sous les yeux avant mais auquelles on ne prêtait pas attention jusqu'à avoir un point de comparaison ou une information en plus. La magie du cerveau.

avatar oomu | 

@alexischadet

yup

avatar fred5150 | 

Incroyable cette analyse ! dans mon métier il existe des pointeurs !!! des mecs qui gèrent la mise au point en manu des scènes cine et telefilm ! alors artificielle avec des algorithmes mais bon rien ne remplacera le taf d’un mec qui aura sa sensibilité et les exigences d’un real !

avatar roccoyop | 

@fred5150

Ah bon ???

Apple ne va pas détruire tout un pan du cinéma mondial avec son alto qui n’a même pas 1 an ???

Merci pour ton analyse ! 👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻

avatar fred5150 | 

@roccoyop

c plus le côté ‘ Apple a regardé des films ! houa incroyable et analyser et discuter avec des pro en plus ! comme toute entreprise.
tout est évangéliste avec Apple.
juste leur com qui me saoule..

avatar Liena1 | 

@fred5150

Plutôt un esprit messianique je pense (très US comme état d’esprit d’ailleurs)

avatar YetOneOtherGit | 

@fred5150

"comme toute entreprise"

Yep et comme toutes les entreprises ils communiquent sur leur produit, leurs innovations…

Tu as déjà vue la com et le marketing d’Arriflex sur leur stand au NAB ?

Eux aussi font de la com et du marketing 🤑

Comme tous les exposants d’ailleurs 😎

Business as usual

avatar iPop | 

@fred5150

D’un autre côté c’est logique, étant dans la production de film maintenant …c’était à prévoir qu’ils n’intègre pas des technique dans l’iPhone. Même Sony n’y a pas pensé.

avatar YetOneOtherGit | 

@fred5150

"Incroyable cette analyse ! dans mon métier il existe des pointeurs !!!"

Je ne vois pas l’antinomie entre les pratiques sur les tournages cinéma (Le boulot de MaP est loin d’être porté ainsi sur toutes le production audiovisuelle) et les explorations tel celle d’Apple visant à continuer l’automatisation de la MaP.

Cela fait des décennies que tous les industriels de la PdV n’ont cessé d’investir pour perfectionner sans cesse l’aufocus puis d’essayer de le rendre « intelligent »

Pour les usages de monsieur et madame tout le monde l’automatisation des divers paramètres de PdV leur permet de produire des images très acceptables sur ces aspects dans la plus part des conditions.

Et après avoir travaillé sur la détection des visages, la prédiction de mouvements … il ne me semble pas inintéressant de pouvoir proposer une automatisation du jeu sur le focus.

Quant-il parle d’analyse, c’est d’un point de vue langage cinématographique et je ne vois pas en quoi c’est incroyable.

Et cela nullement vocation à remplacer les pratiques des professionnels, mais d’offrir une assistance permettant facilement de mettre en œuvre un élément de langage cinématographique assez délicat à maîtriser plus encore sur des appareils aussi petits que des smartphone.

Cette première itération est évidemment perfectible et un rien gadget, mais comme bien des innovations de ce type cela va s’améliorer et peut-être se généraliser.

Qu’on le veuille ou non, les approches d’automation de la PdV et du traitement de l’image, même si elles connaissent des limites, sont grandement appréciées par le grand public qui veut avant tout un résultat sans trop se prendre la tête.

avatar cybercooll | 

@YetOneOtherGit

Je suis d’accord avec l’idée. Par contre actuellement le résultat est nul. C’est pas naturel du tout ce flou artificiel degueulasse pas stable.

avatar YetOneOtherGit | 

@cybercooll

"Je suis d’accord avec l’idée. Par contre actuellement le résultat est nul. C’est pas naturel du tout ce flou artificiel degueulasse pas stable."

C’est typiquement le type d’approche qui demande du temps et je ne serais pas,étonné que d’autres acteurs de l’industrie ne se l’approprient. 😉

Wait & See 👀

avatar cybercooll | 

@YetOneOtherGit

Oui c’est clairement l’avenir. Et dire à monsieur tout le monde qu’il va avoir la possibilité d’être un réalisateur d’Hollywood est très vendeur. Dans qq années ça sera peut être mieux. Pour l’instant c’est une bouillie de pixels qui donne la nausée.

avatar iPop | 

@fred5150

Ne jamais oublier :
« Tout ce qui peut être automatisé l’est ».

PS. Ça ne sert à rien de se bercer d’illusion. Si la race humaine voudra se détruire, elle le fera. Libre arbitre.

avatar oomu | 

@iPop

"PS. Ça ne sert à rien de se bercer d’illusion. Si la race humaine voudra se détruire, elle le fera. Libre arbitre."

perso, je suis partisan de l'automatiser aussi.

je ne vois guère d'intérêt à faire manuellement une corvée.

avatar iPop | 

@oomu

Ça c’est le beau couplet qu’on nous sert sur la beauté de la civilisation et l’évolution.
Sauf que ça ne sert que les intérêts de grosses compagnies. Quand tout sera automatisé parce que TOUT sera automatisé, la misère règnera sur la planète. Restera que l’exploration spatiale et encore…

PS. on comprend mieux pourquoi dans les histoires d’Asimov, les terriens détestent les robots.
La prochaine évolution de l’homme, les robots ? (Voir Raised by wolves)

PS.2 je suis un passionné, j’aime faire les choses.

avatar cybercooll | 

@fred5150

Dans qq années l’ia génèrera des films entiers. Tout comme il existe des générateurs de code.
Bon ça fait de la merde pour le moment mais c’est pas grave, ça s’améliorera et un jour on pourra siroter une bière en regardant un ordi faire notre travail.

avatar YetOneOtherGit | 

@cybercooll

"Dans qq années l’ia génèrera des films entiers. Tout comme il existe des générateurs de code."

Il y a déjà est expérimentation de montage assisté par ML qui donne des résultats assez surprenant 😉

Pages

CONNEXION UTILISATEUR