Performances : Huawei triche sur un benchmark
Le benchmark 3DMark a retiré plusieurs smartphones Huawei de ses résultats après qu’AnandTech a découvert qu’ils étaient spécialement programmés pour surperformer avec cette application.
Huawei a reconnu la pratique, tout en tentant de la justifier en expliquant que ses smartphones adaptent automatiquement leurs performances en fonction des besoins des apps. Mais dans le cas de 3DMark, les Huawei P20, P20 Pro, Nova 3 et Honor Play enclenchent leur « mode performance » en se basant simplement sur le nom de l’app, une pratique interdite par UL, l’éditeur du benchmark.
En faisant tourner une version « privée » de 3DMark qui ne peut pas être identifiée par les smartphones, UL et AnandTech se sont rendu compte que les performances étaient jusqu’à 47 % inférieures par rapport à la version publique.
Autrement dit, les smartphones de Huawei ne sont pas suffisamment intelligents pour optimiser leurs performances tout seuls. Leurs résultats 3DMark ne reflètent donc pas la manière dont ils gèrent les apps de manière générale, ce qui fait dire à AnandTech qu’il s’agit de « triche ».
Interrogé par le site, Dr. Wang Chenglu, le responsable logiciel de Huawei, a déclaré que les benchmarks ne sont pas représentatifs d’une utilisation réelle et d’en appeler à la création d’un test standardisé et plus proche de l’expérience utilisateur.
En attendant un éventuel outil plus global, Huawei ne se prive pas d’exhiber des résultats de benchmarks en sa faveur. Dernièrement, c’est le Snapdragon 845 qui en a fait les frais, mais il faudra donc vérifier si la nouvelle puce Kirin 980 du fabricant chinois est véritablement plus puissante.
La triche dans les benchmarks ne date pas d’aujourd’hui. En 2013, c’était Samsung qui avait été pris la main dans le sac. Plus récemment, il y a eu OnePlus.
Ca me rappel les constructeurs automobiles qui avaient programmés leurs voitures pour tromper les contrôles anti pollutions.
A croire que ces pratiques se généralisent...
@hexley
Elles sont peut-être généralisées depuis toujours sauf qu'ils ne s'étaient jamais fait prendre. A mon avis c'est pareil dans tout les domaines malheureusement.
Les VW, PSA et Renault de la téléphonie !
@NEWIPHONE76
A ma connaissance oui pour le groupe VW donc VW AUDI SEAT PORSCHE etc....Mercedes aussi récemment a aussi été convaincu de triche...je crois que Renault a eu des difficultés mais bien moindres mais jamais entendu parlé de PSA...
@pga78
Extrait du Monde :
« Pour PSA, la facture finale risque d’être très salée. Cinq milliards d’euros, c’est le montant de l’amende qui menace le constructeur automobile français dans le dossier du « Dieselgate ». Cette somme correspond à 10 % de la moyenne du chiffre d’affaires des exercices 2013, 2014 et 2015, selon le procès-verbal d’infraction de la Direction générale de la concurrence, de la consommation et de la répression des fraudes (DGCCRF), auquel Le Monde a eu accès. Ce document clé, qui résume les charges contre le constructeur, est le principal élément d’enquête de l’instruction ouverte le 7 avril pour « tromperie aggravée ». Après Volkswagen, Renault et Fiat Chrysler, le groupe est soupçonné, comme ses concurrents, d’avoir manipulé ses moteurs diesel afin qu’ils émettent moins d’oxyde d’azote (NOx), un gaz très toxique, lors des tests d’homologation qu’en conduite réelle. »
@NEWIPHONE76
Donc enquête = coupable ?
@0lf
Je pense que vu les éléments à charge, ils vont passer à la caisse.
@NEWIPHONE76
Peut être. C’est pas à moi de le dire. Y a des gens dont c’est le métier.
@0lf
Ce n’est pas le mien non plus mais s’ils ont joué avec le feu et qu’ils ont été pris la main dans le sac, ils doivent payer. Point.
@NEWIPHONE76
Les constructeurs sont malheureusement obligé de tricher les normes antipollutions deviennent trop contraignante et difficile a tenir. Et au final qui paye la facture? Les consommateur, les fap, les turbos, les vannes egr a remplacer et quid des nouveaux moteurs avec des mini cylindrée et des puissances énormes....leurs durée de vie risque de ne pas être très grande
Et l'électrique n'en parlons pas
@ecosmeri
Non ils ne sont pas « obligés » quitte à revoir leurs ambitions à la baisse dans un souci d’honnêteté envers le consommateur.
@NEWIPHONE76
Moi perso ca m'en touche une sans faire bouger l'autre qu'ils trichent., au moins j'ai pas eu de malus écologique lors de l'achat de ma voiture 😜. On arrive aux limites du moteur thermique, l'electrique ne fait pas mieux au niveau bilan ecologique.
Faudra nous expliquer un de ces jours l'intérêt de ses données, surtout, quand l'année d'après, avec l'installation du nouvel OS, la fameuse Ferrari ultra puissante se transforme en citrouille...
C'est pas ciblé 😁
c'est clair !!
quand on voit que les iphones 6S et 7 atomisaient toute la concurrence (meme encore aujourdhui, en monocoeur, (selon ces bench) les 6S et 7 n'ont pas spécialement à rougir (pour des smartphone de 2-3 ans)) et qu'avec iOS 11... juste afficher un clavier (et oui le truc de base qui sert à taper du texte... comme sur un iphone Edge !!) suffisait à le faire ramer... ca fait bien relativiser l'interet de ces benchs :)
@romainB84
C’est tout a fait ce que je me disais. Sans maitrise la puissance n’est rien 😝
@romainB84
Pas de problème pour afficher le clavier sur mon 7 plus dont la batterie n’a pas encore entraîné de problèmes de performance...
@Lestat1886
C'est pas un problème de batterie mais un bug sur les claviers français.
Et mon 7 Plus a des fois des ralentissements du clavier, mon iPad Air c'est constant. Le pire c'est qu'une fois ils ont réglé le bug avec une MAJ mais la fluidité est même pas resté une heure.
@fousfous
J’ai eu de la chance sur le mien alors :)
@fousfous
Ce m'est encore arrivé en écrivant un commentaire sur l'appli iGeneration avec mon 7 Plus, le clavier est comme un peu freiné de temps à autre sur de long message, à se demander si un jour ça va être réglé cette histoire.
@bidibout
Bah tant que les médias n'en parlent pas... Et je ne sais pas ce que donne iOS 12 à ce niveau. Sachant qu'avant iOS 11 le clavier était totalement fluide. Mais en plus comme ça n'a l'air de concerner que le français les américains ne s'en occupent pas.
@fousfous
Ouais c'est étrange. Ce que j'indique à mon niveau c'est bien sous iOS 12 c'est bien ce qui me chagrine. Sous iOS 11 ce n'était pas génial du tout, pour le moment il n'y a que sous iOS 10 que le clavier était parfait.
@bidibout
Donc sur iOS 12 le clavier est pas mieux?
Au pire je tenterai un clavier alternatif, ils n'ont aucuns problème (bien la preuve que c'est juste un bug).
@fousfous
Si si beaucoup mieux que sous iOS 11, c'est la plupart du temps nickel mais il y a encore de rares cas où il y a un ralentissement entre le moment où on tape et où les lettres s'affichent une espèce de micro lag.
@bidibout
Ah ça va alors, j'espère beaucoup pour mon iPad parce que c'est juste pas possible.
@fousfous
"Ah ça va alors, j'espère beaucoup pour mon iPad parce que c'est juste pas possible"
Sur mon iPad, après un moment d'amélioration, ça s'est vite dégradé de nouveau :(
Sans accès rapide aux touches accentuées, les claviers rapides sont peu utilisables à moins d'utiliser la correction automatique. C'est très désagréable.
@fousfous
sur la beta d'iOS 12 (sur mon 6S) je peux te dire que le gain est spectaculaire.
en revanche, il suffit de passer en mode "eco energie" et la... on se retrouve avec les meme lenteur qu'iOS11.
@bidibout
Ce n’est pas réglé sur 4s, ni sur iPhone 4, ni sur iPhone 3g, ni sur iPad 4, ni sur iPad 2/3 donc ça ne sera pas réglé sauf si iOS 12 réglé le problème, ce qui est mon cas sur un 6s Plus
@fousfous
Pas de souci non plus sur mon 7 Plus.
@romainB84
"quand on voit que les iphones 6S et 7 atomisaient toute la concurrence (meme encore aujourdhui, en monocoeur, (selon ces bench) les 6S et 7 n'ont pas spécialement à rougir (pour des smartphone de 2-3 ans)) et qu'avec iOS 11... juste afficher un clavier (et oui le truc de base qui sert à taper du texte... comme sur un iphone Edge !!) suffisait à le faire ramer... ca fait bien relativiser l'interet de ces benchs :)"
Pour le journaliste ou le Geek : aucun, sauf pour paraître intelligent lors d’une discussion entre Geek.
Pour un pro : c’est un sacré gain de temps. Développer un benchmark, c’est long et demande de bien connaître les tenants et aboutissants des choix de test. Je bench beaucoup et je sais qu’il est facile de favoriser un équipement plus qu’un autre par méconnaissance (ou volontairement, mais c’est un autre débat).
@Gueven
du coup je comprend pas trop ta reponse :)
en gros tu dis que pour les geek (ou l'utilisateur lambda) ca n'a aucun interet (ce dont je suis totalement d'accord avec toi) et pour les pros, les resultats sont tellement orientable et falsifiable que ca rend les resultats inutilisable ... dc aucun interet non plus?
@romainB84
"et pour les pros, les resultats sont tellement orientable et falsifiable que ca rend les resultats inutilisable ... dc aucun interet non plus?"
Non car un pro peut vérifier la pertinence des résultats (contre benchmark). Ça fait gagner du temps, mais tu gardes ton esprit critique car tu sais analyser et vérifier (le contraire de beaucoup de journalistes).
Un autre point important, quand un pro bench un logiciel, cpu, os, ... il le fait pour mettre en concurrence plusieurs solutions et donc faire le bon choix. Tu imagines bien que les impacts sont bien plus cruciaux que l’information que remonte un journaliste à ces lecteurs ...
"Je bench beaucoup et je sais qu’il est facile de favoriser un équipement plus qu’un autre par méconnaissance (ou volontairement, mais c’est un autre débat)."
On pourrait croire que tu parles de musculation et de bench press aux haltères ou barre :-D
@EBLIS
"On pourrait croire que tu parles de musculation et de bench press aux haltères ou barre :-D"
Lol :P
@romainB84
Absolument 🤷🏻♂️
@romainB84
C'est surtout un bug plus qu'autre car pas de problème sur les claviers alternatifs...
iOS 12 améliore tout anyway
@anonx
Ça permet de savoir quel appareil tiendra plus longtemps que d’autres, comme pour l’iPad 3 par exemple
Ou encore à quel point Apple bride le processeur en fonction de l’état de la batterie
Le plus étonnant c est qu ils aient pu imaginer que leur triche passerait inaperçue.
Huawei ils ont peur de rien, il y a même pas un mois c’était un selfie qui en fait était pris par un reflex et il y a deux ans une photo prise par un canon 5D qu’ils faisaient passer pour des photos de leur smartphone. C’est abuser quand même !
Il me semble avoir aussi lu que certaines marques de téléviseurs (je crois: Samsung) trichaient sur les consommations électriques. Le téléviseur reconnaissait les mires affichées et se mettaient dans un mode spécial basse consommation.
Qui va encore tricher ... Ou qui ne triche pas!
J’adore l’argumentation de Huawei ...
De toute façon au niveau performance ils sont « dépendant » de Qualcomm et de Google.
@Gueven
Qualcomm???
Ils ont leurs propres puces kirin chez Huawei hein..
Après c'est l'expérience utilisateur qui prend le pas sur tout..
Apple et autres peuvent sortir des benchs stratosphériques, tout ce qu'on veut c'est que l'appareil fonctionne comme au premier jour...
Si ce n'est plus le cas après x mois, alors non seulement ces données sont illusoires mais aussi définitivement à mettre sur le compte de l'obsolescence programmée (à moins de bien signifier en GROS et GRAS, que la maj peut altérer le fonctionnement normal de l'appareil, comme une obligation d'informations).
@anonx
Peu importe ils trichent à plusieurs reprises = ça mérite sanction.
@NEWIPHONE76
Ah oui oui.. c'est même idiot de leur part 🤷🏻♂️
@anonx
"Qualcomm???
Ils ont leurs propres puces kirin chez Huawei hein.."
Oups au temps pour moi.
@anonx
"Après c'est l'expérience utilisateur qui prend le pas sur tout.."
Ça dépend pour quel besoin et de l’utilisation. L’utilisateur universel n’existe pas.
@anonx
Pas mal comme idée !!!
C’est normal, c’est un android de toute façon, pas de fiabilité ni performance
C’est sur que cela jette un doute sur le sérieux de la marque et ternit son image. Après la plupart des gens ne sont pas au courant des bench...tant que c’est fluide au niveau des applications. Dommage pour le consommateur.
Comme pour tous les superlatifs ventant les qualités et performances de tout ce qui se vend, il faut savoir que les constructeur et les vendeurs s’organisent généralement pour bourrer les urnes avec plus ou moins de succès.
Mais les observateurs veillent.
En règle générale, et sans nécessairement toujours penser à mal, la circonspection s’impose.