Performances : Huawei triche sur un benchmark

Stéphane Moussie |

Le benchmark 3DMark a retiré plusieurs smartphones Huawei de ses résultats après qu’AnandTech a découvert qu’ils étaient spécialement programmés pour surperformer avec cette application.

Huawei a reconnu la pratique, tout en tentant de la justifier en expliquant que ses smartphones adaptent automatiquement leurs performances en fonction des besoins des apps. Mais dans le cas de 3DMark, les Huawei P20, P20 Pro, Nova 3 et Honor Play enclenchent leur « mode performance » en se basant simplement sur le nom de l’app, une pratique interdite par UL, l’éditeur du benchmark.

En faisant tourner une version « privée » de 3DMark qui ne peut pas être identifiée par les smartphones, UL et AnandTech se sont rendu compte que les performances étaient jusqu’à 47 % inférieures par rapport à la version publique.

Autrement dit, les smartphones de Huawei ne sont pas suffisamment intelligents pour optimiser leurs performances tout seuls. Leurs résultats 3DMark ne reflètent donc pas la manière dont ils gèrent les apps de manière générale, ce qui fait dire à AnandTech qu’il s’agit de « triche ».

Interrogé par le site, Dr. Wang Chenglu, le responsable logiciel de Huawei, a déclaré que les benchmarks ne sont pas représentatifs d’une utilisation réelle et d’en appeler à la création d’un test standardisé et plus proche de l’expérience utilisateur.

Huawei P20 Pro

En attendant un éventuel outil plus global, Huawei ne se prive pas d’exhiber des résultats de benchmarks en sa faveur. Dernièrement, c’est le Snapdragon 845 qui en a fait les frais, mais il faudra donc vérifier si la nouvelle puce Kirin 980 du fabricant chinois est véritablement plus puissante.

La triche dans les benchmarks ne date pas d’aujourd’hui. En 2013, c’était Samsung qui avait été pris la main dans le sac. Plus récemment, il y a eu OnePlus.

avatar hexley | 

Ca me rappel les constructeurs automobiles qui avaient programmés leurs voitures pour tromper les contrôles anti pollutions.
A croire que ces pratiques se généralisent...

avatar bidibout | 

@hexley

Elles sont peut-être généralisées depuis toujours sauf qu'ils ne s'étaient jamais fait prendre. A mon avis c'est pareil dans tout les domaines malheureusement.

avatar NEWIPHONE76 | 

Les VW, PSA et Renault de la téléphonie !

avatar pga78 | 

@NEWIPHONE76

A ma connaissance oui pour le groupe VW donc VW AUDI SEAT PORSCHE etc....Mercedes aussi récemment a aussi été convaincu de triche...je crois que Renault a eu des difficultés mais bien moindres mais jamais entendu parlé de PSA...

avatar NEWIPHONE76 | 

@pga78

Extrait du Monde :
« Pour PSA, la facture finale risque d’être très salée. Cinq milliards d’euros, c’est le montant de l’amende qui menace le constructeur automobile français dans le dossier du « Dieselgate ». Cette somme correspond à 10 % de la moyenne du chiffre d’affaires des exercices 2013, 2014 et 2015, selon le procès-verbal d’infraction de la Direction générale de la concurrence, de la consommation et de la répression des fraudes (DGCCRF), auquel Le Monde a eu accès. Ce document clé, qui résume les charges contre le constructeur, est le principal élément d’enquête de l’instruction ouverte le 7 avril pour « tromperie aggravée ». Après Volkswagen, Renault et Fiat Chrysler, le groupe est soupçonné, comme ses concurrents, d’avoir manipulé ses moteurs diesel afin qu’ils émettent moins d’oxyde d’azote (NOx), un gaz très toxique, lors des tests d’homologation qu’en conduite réelle. »

avatar 0lf | 

@NEWIPHONE76
Donc enquête = coupable ?

avatar NEWIPHONE76 | 

@0lf
Je pense que vu les éléments à charge, ils vont passer à la caisse.

avatar 0lf | 

@NEWIPHONE76
Peut être. C’est pas à moi de le dire. Y a des gens dont c’est le métier.

avatar NEWIPHONE76 | 

@0lf

Ce n’est pas le mien non plus mais s’ils ont joué avec le feu et qu’ils ont été pris la main dans le sac, ils doivent payer. Point.

avatar ecosmeri | 

@NEWIPHONE76

Les constructeurs sont malheureusement obligé de tricher les normes antipollutions deviennent trop contraignante et difficile a tenir. Et au final qui paye la facture? Les consommateur, les fap, les turbos, les vannes egr a remplacer et quid des nouveaux moteurs avec des mini cylindrée et des puissances énormes....leurs durée de vie risque de ne pas être très grande

Et l'électrique n'en parlons pas

avatar NEWIPHONE76 | 

@ecosmeri

Non ils ne sont pas « obligés » quitte à revoir leurs ambitions à la baisse dans un souci d’honnêteté envers le consommateur.

avatar ecosmeri | 

@NEWIPHONE76

Moi perso ca m'en touche une sans faire bouger l'autre qu'ils trichent., au moins j'ai pas eu de malus écologique lors de l'achat de ma voiture 😜. On arrive aux limites du moteur thermique, l'electrique ne fait pas mieux au niveau bilan ecologique.

avatar anonx | 

Faudra nous expliquer un de ces jours l'intérêt de ses données, surtout, quand l'année d'après, avec l'installation du nouvel OS, la fameuse Ferrari ultra puissante se transforme en citrouille...

C'est pas ciblé 😁

avatar romainB84 | 

c'est clair !!
quand on voit que les iphones 6S et 7 atomisaient toute la concurrence (meme encore aujourdhui, en monocoeur, (selon ces bench) les 6S et 7 n'ont pas spécialement à rougir (pour des smartphone de 2-3 ans)) et qu'avec iOS 11... juste afficher un clavier (et oui le truc de base qui sert à taper du texte... comme sur un iphone Edge !!) suffisait à le faire ramer... ca fait bien relativiser l'interet de ces benchs :)

avatar vinzpic | 

@romainB84

C’est tout a fait ce que je me disais. Sans maitrise la puissance n’est rien 😝

avatar Lestat1886 | 

@romainB84

Pas de problème pour afficher le clavier sur mon 7 plus dont la batterie n’a pas encore entraîné de problèmes de performance...

avatar fousfous | 

@Lestat1886

C'est pas un problème de batterie mais un bug sur les claviers français.
Et mon 7 Plus a des fois des ralentissements du clavier, mon iPad Air c'est constant. Le pire c'est qu'une fois ils ont réglé le bug avec une MAJ mais la fluidité est même pas resté une heure.

avatar Lestat1886 | 

@fousfous

J’ai eu de la chance sur le mien alors :)

avatar bidibout | 

@fousfous

Ce m'est encore arrivé en écrivant un commentaire sur l'appli iGeneration avec mon 7 Plus, le clavier est comme un peu freiné de temps à autre sur de long message, à se demander si un jour ça va être réglé cette histoire.

avatar fousfous | 

@bidibout

Bah tant que les médias n'en parlent pas... Et je ne sais pas ce que donne iOS 12 à ce niveau. Sachant qu'avant iOS 11 le clavier était totalement fluide. Mais en plus comme ça n'a l'air de concerner que le français les américains ne s'en occupent pas.

avatar bidibout | 

@fousfous

Ouais c'est étrange. Ce que j'indique à mon niveau c'est bien sous iOS 12 c'est bien ce qui me chagrine. Sous iOS 11 ce n'était pas génial du tout, pour le moment il n'y a que sous iOS 10 que le clavier était parfait.

avatar fousfous | 

@bidibout

Donc sur iOS 12 le clavier est pas mieux?
Au pire je tenterai un clavier alternatif, ils n'ont aucuns problème (bien la preuve que c'est juste un bug).

avatar bidibout | 

@fousfous

Si si beaucoup mieux que sous iOS 11, c'est la plupart du temps nickel mais il y a encore de rares cas où il y a un ralentissement entre le moment où on tape et où les lettres s'affichent une espèce de micro lag.

avatar fousfous | 

@bidibout

Ah ça va alors, j'espère beaucoup pour mon iPad parce que c'est juste pas possible.

avatar Bigdidou | 

@fousfous

"Ah ça va alors, j'espère beaucoup pour mon iPad parce que c'est juste pas possible"

Sur mon iPad, après un moment d'amélioration, ça s'est vite dégradé de nouveau :(
Sans accès rapide aux touches accentuées, les claviers rapides sont peu utilisables à moins d'utiliser la correction automatique. C'est très désagréable.

avatar romainB84 | 

@fousfous
sur la beta d'iOS 12 (sur mon 6S) je peux te dire que le gain est spectaculaire.
en revanche, il suffit de passer en mode "eco energie" et la... on se retrouve avec les meme lenteur qu'iOS11.

avatar armandgz123 | 

@bidibout

Ce n’est pas réglé sur 4s, ni sur iPhone 4, ni sur iPhone 3g, ni sur iPad 4, ni sur iPad 2/3 donc ça ne sera pas réglé sauf si iOS 12 réglé le problème, ce qui est mon cas sur un 6s Plus

avatar NEWIPHONE76 | 

@fousfous

Pas de souci non plus sur mon 7 Plus.

avatar Gueven | 

@romainB84

"quand on voit que les iphones 6S et 7 atomisaient toute la concurrence (meme encore aujourdhui, en monocoeur, (selon ces bench) les 6S et 7 n'ont pas spécialement à rougir (pour des smartphone de 2-3 ans)) et qu'avec iOS 11... juste afficher un clavier (et oui le truc de base qui sert à taper du texte... comme sur un iphone Edge !!) suffisait à le faire ramer... ca fait bien relativiser l'interet de ces benchs :)"

Pour le journaliste ou le Geek : aucun, sauf pour paraître intelligent lors d’une discussion entre Geek.
Pour un pro : c’est un sacré gain de temps. Développer un benchmark, c’est long et demande de bien connaître les tenants et aboutissants des choix de test. Je bench beaucoup et je sais qu’il est facile de favoriser un équipement plus qu’un autre par méconnaissance (ou volontairement, mais c’est un autre débat).

avatar romainB84 | 

@Gueven
du coup je comprend pas trop ta reponse :)
en gros tu dis que pour les geek (ou l'utilisateur lambda) ca n'a aucun interet (ce dont je suis totalement d'accord avec toi) et pour les pros, les resultats sont tellement orientable et falsifiable que ca rend les resultats inutilisable ... dc aucun interet non plus?

avatar Gueven | 

@romainB84

"et pour les pros, les resultats sont tellement orientable et falsifiable que ca rend les resultats inutilisable ... dc aucun interet non plus?"

Non car un pro peut vérifier la pertinence des résultats (contre benchmark). Ça fait gagner du temps, mais tu gardes ton esprit critique car tu sais analyser et vérifier (le contraire de beaucoup de journalistes).
Un autre point important, quand un pro bench un logiciel, cpu, os, ... il le fait pour mettre en concurrence plusieurs solutions et donc faire le bon choix. Tu imagines bien que les impacts sont bien plus cruciaux que l’information que remonte un journaliste à ces lecteurs ...

avatar EBLIS | 

"Je bench beaucoup et je sais qu’il est facile de favoriser un équipement plus qu’un autre par méconnaissance (ou volontairement, mais c’est un autre débat)."

On pourrait croire que tu parles de musculation et de bench press aux haltères ou barre :-D

avatar Gueven | 

@EBLIS

"On pourrait croire que tu parles de musculation et de bench press aux haltères ou barre :-D"

Lol :P

avatar anonx | 

@romainB84

Absolument 🤷🏻‍♂️

avatar malcolmZ07 | 

@romainB84

C'est surtout un bug plus qu'autre car pas de problème sur les claviers alternatifs...
iOS 12 améliore tout anyway

avatar armandgz123 | 

@anonx

Ça permet de savoir quel appareil tiendra plus longtemps que d’autres, comme pour l’iPad 3 par exemple

Ou encore à quel point Apple bride le processeur en fonction de l’état de la batterie

avatar yoyo3d | 

Le plus étonnant c est qu ils aient pu imaginer que leur triche passerait inaperçue.

avatar Kounkountchek | 

Huawei ils ont peur de rien, il y a même pas un mois c’était un selfie qui en fait était pris par un reflex et il y a deux ans une photo prise par un canon 5D qu’ils faisaient passer pour des photos de leur smartphone. C’est abuser quand même !

avatar pao2 | 

Il me semble avoir aussi lu que certaines marques de téléviseurs (je crois: Samsung) trichaient sur les consommations électriques. Le téléviseur reconnaissait les mires affichées et se mettaient dans un mode spécial basse consommation.
Qui va encore tricher ... Ou qui ne triche pas!

avatar Gueven | 

J’adore l’argumentation de Huawei ...
De toute façon au niveau performance ils sont « dépendant » de Qualcomm et de Google.

avatar anonx | 

@Gueven

Qualcomm???

Ils ont leurs propres puces kirin chez Huawei hein..

Après c'est l'expérience utilisateur qui prend le pas sur tout..

Apple et autres peuvent sortir des benchs stratosphériques, tout ce qu'on veut c'est que l'appareil fonctionne comme au premier jour...

Si ce n'est plus le cas après x mois, alors non seulement ces données sont illusoires mais aussi définitivement à mettre sur le compte de l'obsolescence programmée (à moins de bien signifier en GROS et GRAS, que la maj peut altérer le fonctionnement normal de l'appareil, comme une obligation d'informations).

avatar NEWIPHONE76 | 

@anonx

Peu importe ils trichent à plusieurs reprises = ça mérite sanction.

avatar anonx | 

@NEWIPHONE76

Ah oui oui.. c'est même idiot de leur part 🤷🏻‍♂️

avatar Gueven | 

@anonx

"Qualcomm???

Ils ont leurs propres puces kirin chez Huawei hein.."

Oups au temps pour moi.

avatar Gueven | 

@anonx

"Après c'est l'expérience utilisateur qui prend le pas sur tout.."

Ça dépend pour quel besoin et de l’utilisation. L’utilisateur universel n’existe pas.

avatar darkjl | 

@anonx

Pas mal comme idée !!!

avatar bu3amra | 

C’est normal, c’est un android de toute façon, pas de fiabilité ni performance

avatar Gaël | 

C’est sur que cela jette un doute sur le sérieux de la marque et ternit son image. Après la plupart des gens ne sont pas au courant des bench...tant que c’est fluide au niveau des applications. Dommage pour le consommateur.

avatar JLG01 | 

Comme pour tous les superlatifs ventant les qualités et performances de tout ce qui se vend, il faut savoir que les constructeur et les vendeurs s’organisent généralement pour bourrer les urnes avec plus ou moins de succès.
Mais les observateurs veillent.
En règle générale, et sans nécessairement toujours penser à mal, la circonspection s’impose.

CONNEXION UTILISATEUR