Apple a vu des films avant de créer le mode cinématique des iPhone 13
Quand Apple a créé les éclairages de portrait pour les iPhone 8, Phil Schiller expliquait en interview que les ingénieurs de Cupertino avaient analysé non seulement des photos, mais aussi des portraits peints pour créer la nouvelle fonction. Quatre ans plus tard, rebelote, mais cette fois pour le mode cinématique des iPhone 13 et avec le cinéma.
Matthew Panzarino de TechCrunch a papoté avec Kaiann Drance, vice-présidente en charge du marketing iPhone, et avec Johnnie Manzari, l’un des designers en charge de l’interface chez Apple. Son interview revient sur la fonction, ses limites et aussi la création de ce mode. Comme toujours, l’entreprise tient à rappeler qu’elle n’a pas essayé de créer une fonction, elle a cherché une réponse à une question.
La question en l’occurrence concernait les films, les vrais, ceux que l’on peut voir au fond de son canapé ou au cinéma. Qu’est-ce qui les rend intemporels ? Qu’est-ce qui les distingue d’une vidéo tournée à l’iPhone ? Pour commencer, Apple a donc… vu beaucoup de films, et parlé avec des réalisateurs et techniciens dans le monde du cinéma. Une constante s’est dévoilée à travers les âges : la mise au point est un élément clé de la mise en scène.
L’élément net à l’image est un outil essentiel pour raconter une histoire, tandis que le flou autour de cet élément facilite la compréhension du film en guidant le spectateur. Fort de ce constat, les créateurs de la fonction se sont rendus sur des tournages pour comprendre à la fois les choix du directeur de la photographie — qui est responsable de l’image au sens large — et les gestes des opérateurs. Ils ont analysé comment le « pointeur », la personne chargée de tourner la bague de mise au point sur les caméras, travaille.
Tout ce savoir a permis de collecter des informations sur les techniques de tournage, pour ensuite les convertir en fonctions accessibles pour le grand public. Sur un tournage, c’est un travail minutieux et complexe qui nécessite de coordonner plusieurs opérateurs et les acteurs, mais aussi de contrôler entièrement l’environnement. Sur un iPhone, cela doit être une fonction utilisable par n’importe qui, en tenant le smartphone et en le laissant travailler au maximum.
C’est pour cette raison que la mise au point évolue selon les regards des personnes filmées. La personne au premier plan est nette par défaut et l’arrière-plan est flou, mais si elle tourne la tête, le mode cinématique va tenter de deviner ce qu’elle va regarder, que ce soit une personne ou un objet, et faire la mise au point sur cet élément. C’est un classique au cinéma pour guider le regard du spectateur sur l’élément le plus important et tout est fait automatiquement par l’iPhone.
Autre idée, il faut anticiper l’entrée d’un personnage dans le cadre, pour coordonner le changement de mise au point au bon moment. Pour cela, les développeurs d’Apple ont eu une idée astucieuse : en mode vidéo, la stabilisation réduit le cadre pour garder de la marge, mais les capteurs sous les objectifs enregistrent davantage d’informations. Ces données sont utilisées par le mode cinématique pour anticiper la transition d’une mise au point à l’autre : l’iPhone « sait » qu’une personne va entrer dans le cadre avant qu’elle n’apparaisse à l’écran.
Ce savoir, combiné à la puce Apple A15 qui travaille dur pour afficher l’effet de flou en temps réel à l’écran tout en traitant les 30 images par seconde qui forment la vidéo finale, donne le mode cinématique. Qui est loin d’être parfait dans sa première version, comme Matthew Panzarino le relève et le prouve avec cet exemple tourné sans aucun accessoire lors d’un séjour à Disneyland.
La mise au point a plus de mal dans les environnements sombres et surtout l’édition a posteriori est vite indispensable pour corriger les erreurs en temps réel. Et puis l’effet de flou se trompe parfois, comme avec le mode portrait, en détourant n’importe comment les gens et objets.
Même sans aucun matériel supplémentaire, on peut aussi obtenir un résultat assez convaincant à condition de faire simple. Jonathan Morrison l’a prouvé avec ce clip réalisé entièrement en mode cinématique. La chanteuse se contente de marcher dans la rue et elle est la seule dans le cadre en permanence, ce qui simplifie le travail. Mais comme on peut le voir par intermittence, le youtubeur est seul devant elle et il tient l’iPhone à bout de bras, il n’a même pas de stabilisateur pour s’aider.
Hâte de voir le pro res en slowmo !
@pariscanal
Une chose est sure, c’est qu’ils ne les ont pas regardé sur Apple TV+ 🤭
Au lieu de regarder des films ils auraient mieux fait de passer un peu plus de temps à debugger iOS 15. C’est honteux a quel point c’est buggué.
@l3chvck
Bonjour
Pas chez tout le monde
@macbook60
Ce n’est quand même pas très brillant. L’écosystème des produits serait-il devenu trop large pour faire face à tous les cas de figure ? J’espère que nous ne sommes pas en voie d’Androisation
@Lemon19
Bonjour
Non il y aura une mise à jour qui va régler ça .
@macbook60
Oui, heureusement. Après j’avoue que les équipes d’Apple Care niveau 2 sont très impressionnantes de transparence et de professionnalisme.
@Lemon19
+1
En effet c’est ridicule tous les appareils qu’ils présentent chaque année… forcément les OS sont impactés
@l3chvck
Moi un bug qui m’embête vraiment, je sais pas si d’autres l’ont, c’est quand j’écoute de la musique en AirPlay avec une ou deux enceintes sonos et HomePod groupées avec le lecteur d’apple musique. Quand j’utilise la barre de son pour l’augmenter ou la baisser, automatiquement la barre me baisse le son tout en bas et me coupe donc la musique …
@mat83
Oui il faut utilise les boutons. Il y a plein de bugs dans musique. Un autre, quand je suis dans la liste d’attente, la barre d’avancement de la musique est toujours active bien que masquée ce qui fait que quand je monte ou descends des titres je peux par inadvertance avancer ou reculer dans le morceau
@l3chvck
Plus il y a de monde qui bosse sur un sujet, plus il y a des bug.
Pas le temps de les débusquer, il faut innover.
@l3chvck
"Au lieu de regarder des films ils auraient mieux fait de passer un peu plus de temps à debugger iOS 15. C’est honteux a quel point c’est buggué."
Une antienne qui revient à chaque upgrade tu peux faire un bot pour la publier chaque année 😎
@YetOneOtherGit
"Une antienne qui revient à chaque upgrade tu peux faire un bot pour la publier chaque année 😎"
Ce n’est pas parce que c’est répétitif que c’est faux. ;)
@fte
"Ce n’est pas parce que c’est répétitif que c’est faux. ;)"
Ce n’était pas mon propos 😎
Par contre c’est peut-être à relativiser fortement 😉
@l3chvck
c'est toi et ton porable le problème parce que honnêtement à partir de la beta 4 y'avait déjà plus de problème.
@l3chvck
Je ne savais pas que c’est la même équipe qui développe iOS, corrige les bugs, regarde les films, ajouter une fonctionnalité à la fonction vidéo… etc
Avec des milliards, ils auraient pu embaucher des développeurs quand même.
Est-ce qu’ils font la comm aussi ?
Je me suis toujours demandé pourquoi les caméramen ont toujours les cheveux longs et le slip qui ressort en bas du dos…
@Fanoo
Parce que ce sont tous d'indécrottables vieux hippies. Ils mangent macro-bio et ne font ce job que pour se payer un bout de terrain dans le Larzac.
@Fanoo
Dans leur jeunesse on leur a donné le choix entre CAP Plomberie et Cinéma.
Pour les cheveux longs, je n’ai pas d’explication 😉
@Fanoo
Allez, je m’essaye : pas de boulot, ils grossissent et ont les cheveux long. Au boulot, pas le temps de se couper les cheveux ni manger correctement, ils maigrissent du coup le pantalon flotte, le slip ressort.
@Fanoo
Ils ont aussi une formation plomberie. C’est pour ça….
@Fanoo
parce que c'est cool les cheveux longs.
Ont-ils aussi vu des films où l’Apple Watch ne déverrouille plus l’iPhone ?
ils n'ont pas de masque. ça se déverrouille chez eux. le masque est ton problème seulement. en plus ne pas réfléchir comme il faut.
@marenostrum
En parlant de ne pas réfléchir comme il faut je crois que tu as beaucoup de mal à comprendre le sens de ce que j’ai écrit. Je te laisse le weekend pour y réfléchir, fais-moi signe lundi si tu n’as pas trouvé.
c'est pas les même gens qui travaillent pour la partie Photo / Video que ceux qui s'occupent de la Face ID. Cook avait dit un moment que Apple embauche 6500 personnes que pour l'appareil photo de son iPhone.
d'ailleurs des bugs vient de ça, plusieurs équipes travaillent en même temps séparément, pour en garder le secret. le jour J, n'ont pas le temps de tout contrôler, il faut y aller sortir la nouvelle version même avec des bugs, la date de sortie est donnée d'avance par la direction.
@marenostrum
Mon message était une réponse humoristique pour dire qu’ils utilisaient une fonctionnalité sur la partie film, mais pas celle qui ne marchait pas, le déverrouillage. Bref…
déjà il faut avoir un Apple Watch pour le constater. c'est pas le cas de beaucoup de monde. moi j'ai pas de Watch, et beaucoup aussi qui travaillent pour Apple. un Rolex est mieux quand même. ça te donne plus de présence.
Il faut dire quelle scène cinématographique la marche à Disneyland...
Le plus impressionnant c’est la stabilité. L’iPhone fonctionne à merveille pour ça.
Et comme par hasard, je dis ça je dis rien, le Ted Lasso d’hier soir était truffé de focus 😏
@GaelW-Mac
🤯
@GaelW-Mac
Ted lasso est vraiment une série publicitaire pour Apple, c’est assez dingue 😅
@GaelW-Mac
ça s'appelle analyser et repérer involontairement des choses qu'on avait déjà sous les yeux avant mais auquelles on ne prêtait pas attention jusqu'à avoir un point de comparaison ou une information en plus. La magie du cerveau.
@alexischadet
yup
Incroyable cette analyse ! dans mon métier il existe des pointeurs !!! des mecs qui gèrent la mise au point en manu des scènes cine et telefilm ! alors artificielle avec des algorithmes mais bon rien ne remplacera le taf d’un mec qui aura sa sensibilité et les exigences d’un real !
@fred5150
Ah bon ???
Apple ne va pas détruire tout un pan du cinéma mondial avec son alto qui n’a même pas 1 an ???
Merci pour ton analyse ! 👏🏻👏🏻👏🏻👏🏻👏🏻👏🏻
@roccoyop
c plus le côté ‘ Apple a regardé des films ! houa incroyable et analyser et discuter avec des pro en plus ! comme toute entreprise.
tout est évangéliste avec Apple.
juste leur com qui me saoule..
@fred5150
Plutôt un esprit messianique je pense (très US comme état d’esprit d’ailleurs)
@fred5150
"comme toute entreprise"
Yep et comme toutes les entreprises ils communiquent sur leur produit, leurs innovations…
Tu as déjà vue la com et le marketing d’Arriflex sur leur stand au NAB ?
Eux aussi font de la com et du marketing 🤑
Comme tous les exposants d’ailleurs 😎
Business as usual
@fred5150
D’un autre côté c’est logique, étant dans la production de film maintenant …c’était à prévoir qu’ils n’intègre pas des technique dans l’iPhone. Même Sony n’y a pas pensé.
@fred5150
"Incroyable cette analyse ! dans mon métier il existe des pointeurs !!!"
Je ne vois pas l’antinomie entre les pratiques sur les tournages cinéma (Le boulot de MaP est loin d’être porté ainsi sur toutes le production audiovisuelle) et les explorations tel celle d’Apple visant à continuer l’automatisation de la MaP.
Cela fait des décennies que tous les industriels de la PdV n’ont cessé d’investir pour perfectionner sans cesse l’aufocus puis d’essayer de le rendre « intelligent »
Pour les usages de monsieur et madame tout le monde l’automatisation des divers paramètres de PdV leur permet de produire des images très acceptables sur ces aspects dans la plus part des conditions.
Et après avoir travaillé sur la détection des visages, la prédiction de mouvements … il ne me semble pas inintéressant de pouvoir proposer une automatisation du jeu sur le focus.
Quant-il parle d’analyse, c’est d’un point de vue langage cinématographique et je ne vois pas en quoi c’est incroyable.
Et cela nullement vocation à remplacer les pratiques des professionnels, mais d’offrir une assistance permettant facilement de mettre en œuvre un élément de langage cinématographique assez délicat à maîtriser plus encore sur des appareils aussi petits que des smartphone.
Cette première itération est évidemment perfectible et un rien gadget, mais comme bien des innovations de ce type cela va s’améliorer et peut-être se généraliser.
Qu’on le veuille ou non, les approches d’automation de la PdV et du traitement de l’image, même si elles connaissent des limites, sont grandement appréciées par le grand public qui veut avant tout un résultat sans trop se prendre la tête.
@YetOneOtherGit
Je suis d’accord avec l’idée. Par contre actuellement le résultat est nul. C’est pas naturel du tout ce flou artificiel degueulasse pas stable.
@cybercooll
"Je suis d’accord avec l’idée. Par contre actuellement le résultat est nul. C’est pas naturel du tout ce flou artificiel degueulasse pas stable."
C’est typiquement le type d’approche qui demande du temps et je ne serais pas,étonné que d’autres acteurs de l’industrie ne se l’approprient. 😉
Wait & See 👀
@YetOneOtherGit
Oui c’est clairement l’avenir. Et dire à monsieur tout le monde qu’il va avoir la possibilité d’être un réalisateur d’Hollywood est très vendeur. Dans qq années ça sera peut être mieux. Pour l’instant c’est une bouillie de pixels qui donne la nausée.
@fred5150
Ne jamais oublier :
« Tout ce qui peut être automatisé l’est ».
PS. Ça ne sert à rien de se bercer d’illusion. Si la race humaine voudra se détruire, elle le fera. Libre arbitre.
@iPop
"PS. Ça ne sert à rien de se bercer d’illusion. Si la race humaine voudra se détruire, elle le fera. Libre arbitre."
perso, je suis partisan de l'automatiser aussi.
je ne vois guère d'intérêt à faire manuellement une corvée.
@oomu
Ça c’est le beau couplet qu’on nous sert sur la beauté de la civilisation et l’évolution.
Sauf que ça ne sert que les intérêts de grosses compagnies. Quand tout sera automatisé parce que TOUT sera automatisé, la misère règnera sur la planète. Restera que l’exploration spatiale et encore…
PS. on comprend mieux pourquoi dans les histoires d’Asimov, les terriens détestent les robots.
La prochaine évolution de l’homme, les robots ? (Voir Raised by wolves)
PS.2 je suis un passionné, j’aime faire les choses.
@fred5150
Dans qq années l’ia génèrera des films entiers. Tout comme il existe des générateurs de code.
Bon ça fait de la merde pour le moment mais c’est pas grave, ça s’améliorera et un jour on pourra siroter une bière en regardant un ordi faire notre travail.
@cybercooll
"Dans qq années l’ia génèrera des films entiers. Tout comme il existe des générateurs de code."
Il y a déjà est expérimentation de montage assisté par ML qui donne des résultats assez surprenant 😉
Pages