« Le P20 Pro a fait 109 points ! 10 points de plus que le concurrent le plus proche. C’est une avance vraiment, vraiment importante. Les autres battaient la concurrence d’un point, mais nous, nous avons une avance de 10 points ! C’est un grand pas en avant, un grand progrès ! » C’est pas peu fier que le patron de Huawei annonçait lors d’une conférence fin mars que son dernier né établissait un nouveau record au classement photo DxOMark Mobile.

Quelques semaines auparavant, Samsung se fendait d’un communiqué de presse pour faire savoir que le Galaxy S9 était le nouveau leader (très éphémère, donc) du classement avec 99 points. En octobre dernier, c’était Google qui annonçait fièrement que le Pixel 2 avait réalisé un score jamais vu de 98 points sur DxOMark.

Pas la peine de remonter plus loin pour comprendre que DxOMark Mobile est devenu six ans après son premier test, l’iPhone 4, le classement de référence en matière de photo sur smartphone. À tel point que les fabricants usent maintenant d’astuces pour que leurs résultats apparaissent toujours sous un jour favorable. Le HTC U12+ fait un score de 103 points, soit 6 points de moins que le Huawei P20 Pro ? Oui, mais c’est le meilleur score pour un smartphone à double appareil photo (le P20 Pro en a trois), souligne HTC.

« Beaucoup de fabricants utilisent maintenant le score dans leur communication, nous confirme Nicolas Touchard, vice-président marketing de DxOMark Image Labs, lors d’un entretien téléphonique. Pour eux, c’est un indicateur clé de performance. » Et pour les consommateurs, c’est un repère clair pour connaître la qualité photo d’un smartphone.

Ce score synthétique est l’idée simple, mais géniale qui a permis à la PME basée à Boulogne-Billancourt d’avoir une renommée internationale. À l’instar du guide Michelin qui distribue ses étoiles selon des critères bien établis, le score DxOMark conclut une analyse poussée des performances photographiques sans laquelle le résultat n’aurait pas de légitimité.

« Nos évaluations sont extrêmement cadrées, extrêmement rigoureuses. Pour chaque évaluation, il y a 1 500 images, 2 heures de vidéo », nous explique Nicolas Touchard. Les évaluations ont deux facettes. La première, c’est le test en laboratoire avec un équipement de pointe comprenant des mires, des éclairages et d’autres outils spécialisés. Ce test qui permet d’obtenir des métriques objectives est complété par des analyses « perceptuelles » faites sur des photographies de scènes réelles, en intérieur comme en extérieur.

« On définit des régions d’intérêt sur les images, et on pose une question spécifique sur ces régions. Par exemple, est-ce que les couleurs sont saturées : un peu, beaucoup, pas du tout. Ces évaluations, très nombreuses, sont faites par plusieurs personnes et ensuite agrégées de sorte à réduire énormément la variabilité », indique le vice-président marketing.

DxOMark Image Labs utilise également un système de « règles de qualité d’image » : les ingénieurs ont à leur disposition un grand jeu d’images constitué au fil des ans qui leur permet de comparer les mêmes scènes prises par de multiples appareils. Une partie des protocoles de tests est présentée en détail sur le site du laboratoire.

Au bout du compte, des scores sont attribués dans neuf domaines différents aux coefficients variables (exposition/contraste, couleur, autofocus, texture, bruit, artefacts, flash, zoom et bokeh), et une note finale est calculée.

Les fabricants ne sont pas démunis face à cette note, bien au contraire. En plus de son site vitrine DxOMark.com, l’entreprise a une activité de conseil et d’analyse à destination des industriels. DxOMark Image Labs aide les fabricants à obtenir la meilleure qualité photo possible en les accompagnant à tous les stages du développement, des spécifications jusqu’au « tuning » (réglages précis en bout de chaîne), déclare Nicolas Touchard.

Est-ce que ce conseil va jusqu’à la recommandation de composants spécifiques ? « Généralement, on n’aime pas dire “prenez ce composant plutôt que celui-ci”. Mais on peut dire “avec ce composant-là, vous pouvez optimiser la qualité d’image si vous réglez ses algorithmes de manière efficace” », nous répond le vice-président, qui poursuit :

On essaye d’être le plus neutre possible vis-à-vis de tout l’écosystème. On ne recommande pas un fournisseur par rapport à un autre. Par contre, on peut donner des indications au niveau des spécifications et sur la pertinence de telle ou telle technologie.

Outre des acteurs comme Nikon, Leica, Panasonic et GoPro, Nicolas Touchard affirme que « tous les fabricants importants » de smartphones sont clients de DxOMark Image Labs — cela inclurait donc Apple, même si la marque à la pomme ne fait pas partie de celles énumérées par notre interlocuteur.

Les fabricants n’ont-ils pas d’ailleurs intérêt à s’adjoindre les services de l’entreprise française pour avoir plus de chance d’obtenir une bonne note ? Dit autrement, est-ce que les clients de DxOMark Image Labs sont avantagés par rapport aux autres ? « Cela dépend quand même de l’effort qu’ils mettent eux-mêmes. S’ils ne mettent pas des moyens de leur côté, ça ne marche pas », relativise Nicolas Touchard, qui embraye sur l’indépendance des tests :

• Le benchmark est complètement indépendant. Toutes nos publications suivent la même méthodologie. Elles sont réalisées par des équipes séparées de celles qui font le consulting. Et tout le monde est jugé à la même enseigne.

• Il n’y a pas de conflits d’intérêts ?

• Non. S’il fallait nous payer pour avoir une bonne note affichée sur le site, ça deviendrait gênant. Donc on maintient une séparation entre tout ce qui est test-publication et le consulting.

La position aussi centrale de DxOMark Image Labs dans l’industrie pose une autre question, celle d’une potentielle uniformisation des images. Si tous les fabricants suivent les mêmes préceptes et la même grille d’évaluation, est-ce qu’on ne se dirige pas vers un seul type de qualité photographique, aux dépens d’autres voies peut-être intéressantes ?

« La photo, c’est une question de goûts et de couleurs, reconnait Nicolas Touchard. On essaye de trouver quelque chose qui correspond au marché le plus large et de rester neutre. Et pour justement éviter que les constructeurs, ou même nous tous, nous retrouvions figés sur l’évaluation de trois ou quatre critères, nous faisons un benchmark très complet. »

Si le dirigeant nous présente en détail ses activités, comme il l’a fait également pour Wired et Le Monde, ce n’est pas par hasard. Depuis l’année dernière, le consulting et DxOMark.com ne font plus partie de la société historique DxO Labs fondée en 2006.

En dépit de son nom très similaire, DxOMark Image Labs est une nouvelle entreprise complètement indépendante qui a un nouvel investisseur et un nouveau patron. Les équipes concernées sont passées de l’ancienne société à la nouvelle. Il s’agit donc d’un nouveau départ pour cette partie du groupe.

Nicolas Touchard indique qu'en étant indépendant, DxOMark Image Labs va pouvoir se développer plus facilement sur le marché industriel. Une quinzaine de personnes a d'ailleurs été recrutée dernièrement et des postes sont encore ouverts.

Selon nos informations, la scission a servi à renflouer en partie DxO Labs, qui vise dorénavant exclusivement les consommateurs avec son appareil DxO One et ses logiciels photo, en difficulté financière. Un renflouage qui n'aura pas permis d'éviter en mars un redressement judiciaire toujours en cours.