Entretien avec DxOMark Image Labs, le guide Michelin de la photo

Stéphane Moussie |

« Le P20 Pro a fait 109 points ! 10 points de plus que le concurrent le plus proche. C’est une avance vraiment, vraiment importante. Les autres battaient la concurrence d’un point, mais nous, nous avons une avance de 10 points ! C’est un grand pas en avant, un grand progrès ! » C’est pas peu fier que le patron de Huawei annonçait lors d’une conférence fin mars que son dernier né établissait un nouveau record au classement photo DxOMark Mobile.

Quelques semaines auparavant, Samsung se fendait d’un communiqué de presse pour faire savoir que le Galaxy S9 était le nouveau leader (très éphémère, donc) du classement avec 99 points. En octobre dernier, c’était Google qui annonçait fièrement que le Pixel 2 avait réalisé un score jamais vu de 98 points sur DxOMark.

Pas la peine de remonter plus loin pour comprendre que DxOMark Mobile est devenu six ans après son premier test, l’iPhone 4, le classement de référence en matière de photo sur smartphone. À tel point que les fabricants usent maintenant d’astuces pour que leurs résultats apparaissent toujours sous un jour favorable. Le HTC U12+ fait un score de 103 points, soit 6 points de moins que le Huawei P20 Pro ? Oui, mais c’est le meilleur score pour un smartphone à double appareil photo (le P20 Pro en a trois), souligne HTC.

« Beaucoup de fabricants utilisent maintenant le score dans leur communication, nous confirme Nicolas Touchard, vice-président marketing de DxOMark Image Labs, lors d’un entretien téléphonique. Pour eux, c’est un indicateur clé de performance. » Et pour les consommateurs, c’est un repère clair pour connaître la qualité photo d’un smartphone.

Ce score synthétique est l’idée simple, mais géniale qui a permis à la PME basée à Boulogne-Billancourt d’avoir une renommée internationale. À l’instar du guide Michelin qui distribue ses étoiles selon des critères bien établis, le score DxOMark conclut une analyse poussée des performances photographiques sans laquelle le résultat n’aurait pas de légitimité.

« Nos évaluations sont extrêmement cadrées, extrêmement rigoureuses. Pour chaque évaluation, il y a 1 500 images, 2 heures de vidéo », nous explique Nicolas Touchard. Les évaluations ont deux facettes. La première, c’est le test en laboratoire avec un équipement de pointe comprenant des mires, des éclairages et d’autres outils spécialisés. Ce test qui permet d’obtenir des métriques objectives est complété par des analyses « perceptuelles » faites sur des photographies de scènes réelles, en intérieur comme en extérieur.

« On définit des régions d’intérêt sur les images, et on pose une question spécifique sur ces régions. Par exemple, est-ce que les couleurs sont saturées : un peu, beaucoup, pas du tout. Ces évaluations, très nombreuses, sont faites par plusieurs personnes et ensuite agrégées de sorte à réduire énormément la variabilité », indique le vice-président marketing.

DxOMark Image Labs utilise également un système de « règles de qualité d’image » : les ingénieurs ont à leur disposition un grand jeu d’images constitué au fil des ans qui leur permet de comparer les mêmes scènes prises par de multiples appareils. Une partie des protocoles de tests est présentée en détail sur le site du laboratoire.

Résultats de l’iPhone X.

Au bout du compte, des scores sont attribués dans neuf domaines différents aux coefficients variables (exposition/contraste, couleur, autofocus, texture, bruit, artefacts, flash, zoom et bokeh), et une note finale est calculée.

Les fabricants ne sont pas démunis face à cette note, bien au contraire. En plus de son site vitrine DxOMark.com, l’entreprise a une activité de conseil et d’analyse à destination des industriels. DxOMark Image Labs aide les fabricants à obtenir la meilleure qualité photo possible en les accompagnant à tous les stages du développement, des spécifications jusqu’au « tuning » (réglages précis en bout de chaîne), déclare Nicolas Touchard.

Est-ce que ce conseil va jusqu’à la recommandation de composants spécifiques ? « Généralement, on n’aime pas dire “prenez ce composant plutôt que celui-ci”. Mais on peut dire “avec ce composant-là, vous pouvez optimiser la qualité d’image si vous réglez ses algorithmes de manière efficace” », nous répond le vice-président, qui poursuit :

On essaye d’être le plus neutre possible vis-à-vis de tout l’écosystème. On ne recommande pas un fournisseur par rapport à un autre. Par contre, on peut donner des indications au niveau des spécifications et sur la pertinence de telle ou telle technologie.

Outre des acteurs comme Nikon, Leica, Panasonic et GoPro, Nicolas Touchard affirme que « tous les fabricants importants » de smartphones sont clients de DxOMark Image Labs — cela inclurait donc Apple, même si la marque à la pomme ne fait pas partie de celles énumérées par notre interlocuteur.

Les fabricants n’ont-ils pas d’ailleurs intérêt à s’adjoindre les services de l’entreprise française pour avoir plus de chance d’obtenir une bonne note ? Dit autrement, est-ce que les clients de DxOMark Image Labs sont avantagés par rapport aux autres ? « Cela dépend quand même de l’effort qu’ils mettent eux-mêmes. S’ils ne mettent pas des moyens de leur côté, ça ne marche pas », relativise Nicolas Touchard, qui embraye sur l’indépendance des tests :

  • Le benchmark est complètement indépendant. Toutes nos publications suivent la même méthodologie. Elles sont réalisées par des équipes séparées de celles qui font le consulting. Et tout le monde est jugé à la même enseigne.

  • Il n’y a pas de conflits d’intérêts ?

  • Non. S’il fallait nous payer pour avoir une bonne note affichée sur le site, ça deviendrait gênant. Donc on maintient une séparation entre tout ce qui est test-publication et le consulting.

Classement DxOMark Mobile actuel.

La position aussi centrale de DxOMark Image Labs dans l’industrie pose une autre question, celle d’une potentielle uniformisation des images. Si tous les fabricants suivent les mêmes préceptes et la même grille d’évaluation, est-ce qu’on ne se dirige pas vers un seul type de qualité photographique, aux dépens d’autres voies peut-être intéressantes ?

« La photo, c’est une question de goûts et de couleurs, reconnait Nicolas Touchard. On essaye de trouver quelque chose qui correspond au marché le plus large et de rester neutre. Et pour justement éviter que les constructeurs, ou même nous tous, nous retrouvions figés sur l’évaluation de trois ou quatre critères, nous faisons un benchmark très complet. »

Si le dirigeant nous présente en détail ses activités, comme il l’a fait également pour Wired et Le Monde, ce n’est pas par hasard. Depuis l’année dernière, le consulting et DxOMark.com ne font plus partie de la société historique DxO Labs fondée en 2006.

En dépit de son nom très similaire, DxOMark Image Labs est une nouvelle entreprise complètement indépendante qui a un nouvel investisseur et un nouveau patron. Les équipes concernées sont passées de l’ancienne société à la nouvelle. Il s’agit donc d’un nouveau départ pour cette partie du groupe.

Nicolas Touchard indique qu'en étant indépendant, DxOMark Image Labs va pouvoir se développer plus facilement sur le marché industriel. Une quinzaine de personnes a d'ailleurs été recrutée dernièrement et des postes sont encore ouverts.

Selon nos informations, la scission a servi à renflouer en partie DxO Labs, qui vise dorénavant exclusivement les consommateurs avec son appareil DxO One et ses logiciels photo, en difficulté financière. Un renflouage qui n'aura pas permis d'éviter en mars un redressement judiciaire toujours en cours.

avatar xbill | 

"Le guide Michelin"

"Le contrôle sanitaire de la photo" aurait été plus pertinent...

avatar fosterj | 

J’aime beaucoup le guide Michelin 😊

avatar Sebr2611 | 

Moui.. je préfère de très loin le résultat que j’obtiens avec mon iPhone X que celui qu’on peut voir avec les Huawei... mais c’est personnel :)

avatar johndoo | 

@Sebr2611

Exactement ! Idem! Je n’ai pas trouver une différence flagrante ! Juste le zoom x5 est beau mais bon à ce tarif je préfère m’acheter un hybride !

avatar Yacc | 

Ce qui est très intéressant avec l'aventure de DxO c'est qu'elle est symptomatique de l'époque et de la grande difficulté à monter un business reposant sur la vente de logiciels pour le segment Digital Media.

- Un excellant logiciel peine à nourrir un business ayant une pérennité.
- Un site de comparaison de matériel photographique, qui a la base n'était qu'un outil marketing devant servir à faire connaitre les logiciels, devient un business sérieux ayant une bonne valorisation et des perspectives de croissance.

C’est une parfaite illustration des enjeux de l’époque.

avatar oomu | 

"On ne recommande pas un fournisseur par rapport à un autre. Par contre, on peut donner des indications au niveau des spécifications et sur la pertinence de telle ou telle technologie. »

bref ils recommandent des fournisseurs, de manières détournées. Ils n’ont pas le choix de toute façon. Et ça sera un enjeu de pouvoir et d’influence.

avatar zoubi2 | 

Méchant, oomu, méchant ! Na !

avatar Mac Hiavel | 

Ce qui a fait au départ l’originalté des soft DxO c’est la base de données concernant les boîtiers photo, les objectifs et leur combinaison. Ce qui a fait son succès et sa réputation en plus des fonctions très performantes de « dérawtisation ».
Je l’utilise depuis longtemps maintenant et mon cycle de production est désormais bien établi et efficace.
Comme les entités Mark et Lab sont séparées, j’imagine que maintenant Lab doit acheter à Mark sa base de données matériels pour l’intégrer dans ses softs. D’où peut-être les difficultés financières de Lab. Car le marché des softs du calibre de Lab est très limité et peu profitable.

avatar 0lf | 

@Mac Hiavel
dématriçage

avatar Mac Hiavel | 

@0lf

Oui je sais mais je trouve plus amusant...

avatar Yacc | 

@Mac Hiavel

« D’où peut-être les difficultés financières de Lab »

Vision très superficielle des soucis de DxO les enjeux sont bien moins triviaux 😎

Au passage les difficultés étaient antérieures à la vente de l’activité DxO Mark, cette dernière ayant servi à renflouer la trésorerie d’une activité qui a beaucoup de mal à trouver ça rentabilité malgré l’indéniable qualité de l’offre.

avatar roccoyop | 

Exactement ! Ils ont des softs et du hard de qualité, mais l'ensemble est géré de la meilleure manière qui soit pour plomber une boîte.

avatar Yacc | 

@roccoyop

Sur le hard c’est discutable et il n’y a pas que des questions de qualité de management.

Créer une structure indépendante dédiée à un logiciel digital média ayant quelques ambitions économiques est un sacré challenge actuellement.

avatar Mac Hiavel | 

@Yacc

Merci de la confirmation, c’est bien ce que j’avais écrit.

avatar Yacc | 

@Mac Hiavel

« c’est bien ce que j’avais écrit. »

Nope 😂

Tu as écrit ça :

« Comme les entités Mark et Lab sont séparées, j’imagine que maintenant Lab doit acheter à Mark sa base de données matériels pour l’intégrer dans ses softs. D’où peut-être les difficultés financières de Lab. »

Et ton hypothèse est absolument fausse 😎

avatar Mac Hiavel | 

@Yacc

Ouh la la, calmons-nous...
On dirait que quelqu’un vous a marché sur les orteils !

Don’t worry, ne happy...

avatar Yacc | 

@Mac Hiavel

Pas énervé juste conscient que nos propos ne sont pas du tout les mêmes contrairement à ce que tu annonces 😉

avatar anonx | 

Retournement de veste Dxo c'est nul c'est le diable 😈😂

avatar Nicolas. | 

Le P20 serait le numéro 2 en terme d'appareil photo ? Bizarre d'après le site Les numériques ce serait son talon d'Achile (note de 3/5)
cf https://www.lesnumeriques.com/telephone-portable/huawei-p20-p43591/test....

avatar Titeuf208 | 

@Nicolas.

Ce serait bien possible. Pour le "grand public" qui ne va pas s'intéresser à tous les détails techniques, ils voient les publicités pour le P20 Pro et achètent ...un P20. Pour eux, c'est la même famille et il y aurait peu de différences au niveau appareil photo. Je le sais bien, j'ai un ami qui l'a fait pensant avoir fait une affaire en achetant le P20 moins cher et persuadé d'avoir "le smartphone avec le meilleur appareil photo". Huawei est coutumier du fait avec leurs versions Lite (P9 lite etc) qui n'ont que très peu à voir avec la version "normale".

avatar pat3 | 

@Nicolas.

Tu confonds P20 et P20 Pro, même si le P20 reste étonnamment bien placé chez DXO.

avatar Nicolas. | 

Non pas du tout, je parle justement bien du P20 qui est noté sur le schéma de Huawei comme numéro 2 (en vrai il est numéro 3 derrière le U12+) et il a une note de 102, soit plus que l'iPhone X, le S9+, le Pixel 2...
C'est peut être chez DXO qu'ils confondent P20 et P20 Pro :)

avatar pat3 | 

@Nicolas.

Effectivement je n’avais pas fait attention sur le schéma montré pendant la Keynote d’Huawei.

avatar olaola | 

Les avis sont tranchés sur le P20 mais y a pas mal de site qui sont d'accord DxO dont gsmarena qui fait des tests plutôt bons :
https://www.gsmarena.com/huawei_p20-review-1749p8.php
Sur des forums les gens s'interrogent sur le fait que tout le monde n'a pas testé avec le même firmware. En tout cas niveau matériel ça serait pas étonnant que le P20 s'en sorte très bien, il y a un gros capteur + le capteur monochrome, et des optiques pas mals et le SoC (et donc les DSPs) sont les mêmes que le P20 Pro.

avatar victoireviclaux | 

Pour l'HTC U12+ je ne comprends pas sa note, il est moins bien que son aîné l'HTC U11+ en termes de piqué et de lissage traitement selon les Numériques.

avatar etio6 | 

Personnellement je parlerais plutôt de « Guide Parker » de la photo. Parker étant un Américain qui faisait un classement sur 100 pour noter les vins, en particulier les vins de Bordeaux.
Mais comme vous le dites très justement dans votre article, les domaines ont fini par produire des vins « Parkerisés » afin de lui plaire.

avatar Florian Innocente | 

@etio6

On avait eu une discussion justement sur le fait de savoir si on faisait un titre avec un clin d’œil au Michelin ou à Parker 😁

avatar ddrmysti | 

J’aime bien le bon gros placement de produit pour Manfrotto dans les images de l’article xD

CONNEXION UTILISATEUR