La photographie sur l’iPhone, de Vermeer au machine learning

Nicolas Furno |

L’une des nouveautés sur l’iPhone 8 Plus, c’est l’éclairage de portraits, une fonction en bêta qui simule l’éclairage d’un studio professionnel en utilisant l’intelligence artificielle. Pour former cette intelligence, Apple a constitué un vaste catalogue de portraits pris par des photographes professionnels pour les étudier, analyser leurs points forts et essayer d’en tirer leur essence. Mais dans une interview accordée à Buzzfeed, Phil Schiller explique qu’ils sont allés plus loin que les photos.

Éclairage de portrait scène mono. Quand le détourage est correct (il pourrait être moins abrupt sur le nez ou le front sur cet exemple), l’effet est spectaculaire. Cliquer pour agrandir

Apple est remontée jusqu’aux grands peintres, jusqu’à Vermeer qui a inspiré le mode scène où l’arrière-plan disparaît totalement avec un fond noir qui doit mettre en valeur le portrait. Il n’est pas cité par le senior vice-president, mais le mode scène mono évoque indéniablement le mythique studio Harcourt. Quant aux autres effets, ils reprennent des éclairages typiques appliqués en studio par les photographes professionnels.

Le constructeur a d’abord cherché à reproduire ces classiques avec des mannequins, un vrai studio de photographie et des éclairages en pagaille. Après des milliers d’expérimentations, ils ont obtenu quelques modes intéressants et très différents, pour correspondre aux besoins et aux envies des utilisateurs. Des ingénieurs ont ensuite trouvé des moyens de reproduire avec du code les effets obtenus en studio, tandis que les équipes en charge du matériel se chargeaient d’optimiser les puces de traitement dans l’Apple A11 Bionic.

C’était un travail d’équipe qui associait logiciel et matériel, un point fort qu’Apple aime mettre en avant dès qu’elle en a l’occasion. Sans compter, ajoute Schiller, que la caméra ne sert pas qu’à prendre des photos, elle active aussi les fonctions de réalité augmentée, celle à l’avant de l’iPhone X est essentielle pour l’authentification biométrique, etc.

Deux éclairages de portrait différent : studio à gauche, scène à droite. Les deux modes de scène ont encore beaucoup de mal à déterminer précisément les contours du portrait : ici, l’iPhone a gardé un bout de mur à droite. Cliquer pour agrandir

Pour en revenir à la photographie, l’objectif d’Apple depuis toujours pour ses iPhone est de tendre vers la qualité des appareils photo dédiés. À chaque mise à jour, les progrès sont indéniables et les iPhone 8 ne font pas exception à la règle si l’on en croit le classement DxOMark. Les progrès se font autant du côté du matériel que du logiciel, indique Phil Schiller qui note en passant que cela avantage Apple par rapport aux entreprises traditionnelles sur le marché.

Les constructeurs d’appareil photo ont une belle longueur d’avance du côté du matériel, mais Apple reprend l’avantage du côté du logiciel. Et elle le prouve depuis l’an dernier avec les fonctions qui exploitent les deux appareils photos de ses iPhone haut de gamme. Présenté en bêta à l’automne 2016, le mode portrait s’est amélioré au fil des mois qui ont suivi et à nouveau avec iOS 11.

Ce sera certainement la même chose pour le mode éclairage de portrait qui est encore loin d’être parfait, mais qui ne demande qu’à être amélioré. L’intelligence de l’appareil photo va bien au-delà d’ailleurs : l’article de Buzzfeed cite un exemple qui a été amélioré avec les iPhone 8 et l’iPhone X, celui des photos de neige. Le cas échéant, les algorithmes détectent la neige et appliquent un traitement spécifique, notamment pour améliorer la balance des blancs et l’exposition et ainsi améliorer le résultat.

Quel que soit le sujet, l’appareil photo des nouveaux iPhone analyse tous les éléments que vous prenez en photo, détecte les personnes et les visages, les zones en mouvement, le ciel et d’autres informations. À partir de tout cela, la mise au point et les traitements sont ajustés en temps réel. Cliquer pour agrandir

On avait pris l’habitude que l’appareil photo des iPhone évolue chaque année, avec chaque nouvelle génération. C’est toujours le cas, mais les progrès ne sont plus nécessairement à chercher du côté du matériel. L’intelligence artificielle et les traitements deviennent de plus en plus importants, ce qui veut dire aussi que l’on aura sans doute plusieurs améliorations chaque année.

Un professionnel obtiendra toujours de meilleurs résultats avec un reflex, des objectifs d’excellente qualité et surtout la maîtrise de son équipement et des règles de base de photographie. Mais l’objectif d’Apple, c’est d’offrir une qualité aussi similaire que possible simplement en positionnant un iPhone et en prenant une photo.

Charge aux algorithmes de faire leur travail derrière, au minimum pour s’assurer que le sujet principal est net, désormais pour essayer de reproduire le travail d’un studio sur un portrait.

Accédez aux commentaires de l'article