Geekbench ML mesure l’intelligence artificielle des smartphones iOS et Android

Nicolas Furno |

Geekbench ML est une nouvelle app des créateurs de Geekbench, solution bien connue de mesure des performances des smartphones, tablettes et autres ordinateurs. Comme son nom le suggère, cette nouvelle app est destinée à mesurer les performances en « machine learning », un apprentissage automatisé qui est devenu central dans l’informatique moderne. L’app est disponible sur iOS et Android, avec des tests qui permettent de comparer les deux plateformes.

Geekbench ML en action sur un iPhone 11 Pro, avec le résultat d’un test géré par CoreML à droite.

Cette première version est numérotée 0.5 pour signaler que c’est une bêta. Les créateurs de Geekbench indiquent dans l’article de blog qui accompagne la sortie de l’app que la version finale devrait sortir d’ici la fin de l’année. D’ici là, le moteur va évoluer rapidement, à tel point que les scores générés ne seront pas comparables d’une version à l’autre. Les résultats générés par l’app aujourd’hui ne seront pas forcément les mêmes que ceux de la prochaine mise à jour.

En revanche, GeekbenchML a été conçue dès le départ pour permettre les comparaisons entre systèmes d’exploitation. Sous le capot, c’est TensorFlow qui a été utilisé pour mesurer les performances. L’app permet de réaliser le test de trois manières : en se basant sur le CPU uniquement, en se basant sur le GPU seulement, ou bien en exploitant toutes les capacités du SoC intégré au smartphone. Sur un iPhone, cela veut dire utiliser CoreML, l’API d’Apple qui exploite le CPU, le GPU et surtout le réseau neuronal des puces maison.

Geekbench ML sur un Pixel 4.

Comme avec Geekbench, les scores peuvent être mis en ligne à la fin. Voici ce que cela donne pour mon iPhone 11 Pro sous iOS 14.6, en faisant travailler uniquement le CPU. Et puisque les scores sont mis en ligne, ils peuvent aussi être comparés : une nouvelle section du site a ainsi été mise en ligne pour collecter les scores générés par l’app. Autant dire que cette comparaison est cruelle pour Android, les iPhone occupent toutes les premières places laissant les meilleurs smartphones concurrents loin derrière.

Pour vous donner un exemple, le OnePlus 9 est le meilleur smartphone Android sur le test basé uniquement sur le CPU et il arrive dixième du classement. Devant lui se trouvent neuf iPhone, de l’iPhone 12 en tête jusqu’à l’iPhone 8 Plus, classé neuvième. Pour le dire autrement, un vaisseau amiral de 2021 équipé du meilleur SoC de Qualcomm (Snapdragon 888) fait moins bien qu’un iPhone sorti en 2017.

Le top 10 du classement de Geekbench ML, ici pour le processeur uniquement.

Geekbench ML est disponible gratuitement, l’app n’est pas proposée en français et elle nécessite iOS 14.


avatar ValentBay | 

Très heureux d’être au fond de la classe avec mon 8 Plus 🐐

avatar romainB84 | 

@ValentBay

avatar Pyjamane | 

Et en vrai (dans la vraie vie), c’est quoi la différence notre la 1ère et la 10ème place ? Ça se traduit comment pour l’utilisateur ? Qu’est-ce que fait l’un et pas l’autre quand j’ai les 2 téléphones dans la main ? En quoi un possesseur de One Plus est-il réellement pénalisé p/r à un possesseur d’iPhone XR ?

avatar iftwst | 

@Pyjamane

Ben pénalisé car ça craint d’avoir ce classement. 😬

Ok ok ———> 🗿

avatar raoolito | 

@Pyjamane

je vais vous donner un exemple simple. On vient de sortir tous ensemble pour un apres midi dans le schamps. l'iphone a filmé, pris de sphotos etc.. on rentre et on veut faire un montage de l'ensemble de la journée, les meilleurs moments, etc..
Avant meme de rentrer, "photos" vous proposera facilement cette video et vous l'exportera que vous pourrez partager avec les gens autour sur un lien qulconque ou par airdrop pour les iphone users.
et ca, faire un export 4K 60fps de 3mn c'est pas du tout rapide. il fallait des stations il y a quelques années pour cela, alors qu'un iphone 2021 vous expedie cela sans broncher.

en 2eme point, on notera que le sipad utilisent aussi ces puces (les memes en version boostées) et là on parle carrément d'app de travail graphique, de montage, son et bien sur.. de "Photos" :)

avatar Tomtomrider | 

@raoolito

Un smartphone Android ne peut-il pas le faire ? Si non, est-ce lié à un manque de puissance ? N’ayant pas utilisé de smartphone Android depuis, ben toujours, je m’interroge.

avatar House M.D. | 

@Tomtomrider

Beaucoup moins rapide en effet, le machine learning étant beaucoup plus puissant dans ces tâches, et même en l’enlevant, le CPU d’un iPhone écrase toute concurrence. En gros l’export sera 2 à 3 fois plus rapide… et on ne parle que de vidéo. Cette rapidité sert dans presque toutes les tâches au final.

C’est aussi une des raisons qui fait que FaceID reste pour le moment bien plus fiable et efficace sur un iPhone que sur n’importe quel Android. Même en mettant les memes caméras et autres accessoires utilisés par Apple pour cette technologie, il manquera la puissance brute pour faire quelque chose de fiable ET quasi instantané.

avatar xDave | 

@raoolito

Haha
Non ça ne me fait pas bander.
Quel intérêt de faire à ma place ce montage?

avatar raoolito | 

@xDave

alors deja prenons quand meme garde aux mots et expressions choisis svp 😅
ensuite tout depend de l'utilisation du smartphone de chacun. tant sue l'on reste sur lire ses emails sur le wifi et téléphoner ou remplir son agenda ( bref un telephone de 2012 fonctionnera encore) inutile de changer
des qu'on est beaucoup sur les réseaux sociaux alors deja il faut un truc récent ( deja pour la securite) et la puissance viendra avec, pas totalement inutile quand on voit combien ces apps sont mal optimisées
et si on utilise son smartphone comme monteur photo video/ partage de connexion 5g et qu'on est fan d'avararify alors là...

avatar Lu Canneberges | 

@Pyjamane

Une différence fondamentale c’est que l’iPhone va exécuter tout un tas de calculs/traitements en local (et donc même à la campagne ou en mode avion, et surtout respectueux de ta privée), alors que l’Android va envoyer tes photos ou données sur les serveurs de Google pour faire la même opération, vive la vie privée et les forfaits data !

Donc vie privée, consommation électrique, vitesse… en profitent !

Et tout un tas d’application concrètes aussi comme la reconnaissance d’image/son/texte…, le calcul de distances en AR, le classement des photos, l’optimisation de la batterie, l’exportation de vidéo, et toutes les petites opérations « d’intelligence/anticipation ».

En gros, à part Siri, l’iPhone est capable de tout faire en local, sans internet, quand Android ne peut faire la même chose que sur serveur ou alors beaucoup plus lentement !

avatar Tomtomrider | 

@Lu Canneberges

Après il y a peut-être une volonté politique de l’entreprise Google à vouloir passer par un cloud. Le traitement des photos comme la recherche et reconnaissance des visages se fait iPhone branché et en veille sur iOS. Et ça prend le temps que ça prend. Peut-être, et même sûrement, un appareil Android pourrait en faire de même. Certe en plus de temps mais un téléphone branché toutes les nuits devrait finir par pouvoir scanner une bibliothèque photo sans problème je pense. Après j’avoue que les restes des exemples où le traitement doit être très rapide il faut du muscle processeural c’est évidemment.

avatar mne | 

Utilisable sur mac m1 ?

avatar Faabb | 

@mne

Ca devrait fonctionner avec un mac M1 et Big sur n’est-ce pas?

Je serai intéressé de voir ces résultat!
😎
Et plus largement la comparaison avec les procs Intel 📊

avatar Mrleblanc101 | 

@mne

Il sagit d'une app iOS, donc oui.
Si le développeur a désactivé l'option, le score devrait être à peu près identique à celui du iPad Pro M1 de toute façon

avatar ssssteffff | 

Et donc ça c’est sans prendre en compte le 12 Pro, le XS Max et d’autres iPhone ? La différence est encore plus flagrante en regardant le NPU… :o

avatar roccoyop | 

Bizarre qu’il n’y ait pas d’iPhone X dans le classement. Personne n’a dû faire de test avec sûrement. Si c’est le cas, il n’y aurait pas du tout d’android dans le classement. 😝

avatar foxot | 

@roccoyop

Effectivement, je viens de faire le test avec le miens et il se place entre le 8 plus et le Xr avec un score de 412 en CPU 👌🏻

https://ibb.co/xj1cVwX

avatar fousfous | 

Apple ne nous promettais pas des gains plus importants entre générations dans les Keynote?

avatar Pyjamane | 

Plus Importants pour faire quoi ?
J’ai l’impression que personne n’est capable de répondre…

avatar fousfous | 

@Pyjamane

T'as pas l'air de te rendre compte que ça sert pour tout, pour prendre des photos et pour utiliser l'app mesurer par exemple.

avatar Lonesome Boy | 

@Pyjamane

Autre exemple: la fonction ML Super Resolution de Pixelmator Pro (agrandissement de photo « sans », ou très peu de, perte) est jusqu’à 10 voire 15 fois plus rapide sur M1 que sur Intel, grâce au Neural Engine.

Le Machine Learning est et sera de plus en plus utilisé. C’est un gage de durée pour les appareils qui l’exploitent le mieux.

avatar raoolito | 

@Pyjamane

ca depend si vous faites des slideshow/exports de votre journée de sortie sur votre iphone, vous sentez la différence. La 4K 60fps de 3mn se calcule comme un charme sur les A14 :)

avatar Adodane | 

C’est quoi ce bench ? Le CPU tout seul est seulement deux fois plus lent que le GPU … CPU + GPU c’est supérieur à NPU, il sert a quoi le neural engine ?

avatar Florent Morin | 

@Adodane

> C’est quoi ce bench ? Le CPU tout seul est seulement deux fois plus lent que le GPU …

Il n’y a 6 coeurs CPU et 4 coeurs GPU sur du A13.
Et ce ne sont pas les mêmes optimisations.

> CPU + GPU c’est supérieur à NPU, il sert a quoi le neural engine ?

GPU, c’est CPU + GPU.
Core ML, c’est CPU + GPU + NPU.

Le Neural Engine est spécialisé dans les réseaux de neurones, une branche spécifique du ML.

Chaque puce a ses spécificités ML.

C’est hyper variable. C’est juste un indicateur avec Tensorflow.

Par exemple, de iOS 13 à iOS 14, les performances ont doublé à matériel égal. Le temps du développement logiciel qui va exploiter le matériel.

avatar Adodane | 

@FloMo

C’est écrit dans l’article que CPU c’est juste le CPU ( par contre on ne sait pas si ça utilise juste la courts ARM ou aussi les accélérateurs ), GPU c’est juste GPU et non CPU+GPU.

Bref un bench pas du tout cohérent comme d’habitude chez geekbench …

avatar vincentn | 

Si je prends mes résultats sur un 12 Pro 6Go/512 Go, cela donne :

CPU : 850
GPU : 1504
CoreML : 2092

Alors à quoi peut servir cette puissance mis à disposition pour du machine learning ? Par exemple pour de la retouche photo ou vidéo, la reconnaissance d’objet, de caractères, de sons, leur classification et traitement, etc.

Ce qui est intéressant c’est ce passage, pour donner un élément de comparaison (même si les résultats évolueront forcément d’ici la version finale) :

« Geekbench ML scores are calibrated against a baseline score of 1500 (which is the score of an Intel Core i7-10700) »

avatar raoolito | 

@vincentn
la reconnaissance de visages, les montages de vos photos/videos (ml> selections et montage automatique plus rapide > GPU+CPU> calcul et rendu plus rapide)

avatar pga78 | 

Les Android sont aux pâquerettes …ça va jaser 🤣🤣🤣🤣

avatar lmouillart | 

Plus ou moins car le parti pris coté Android, et surtout Android à la sauce Google, c'est que ces traitements sont très majoritairement fait coté serveur.

avatar barbe | 

D'autant plus que les appareils intégrés pour le moment au classement ne sont pas les plus puissants chez le bonhomme vert (à l'exception du oneplus 9 mais qui est distancé par un mate 40 pro ou un galaxy s21 ultra par exemple).
Les iPhone sont devant mais je pense qu'il faut attendre d'avoir des retours en masse avant de crier au massacre.

avatar pga78 | 

@lmouillart

C’est l’excuse qu’ils vont trouver …et comme cela ils enregistrent tout à notre insu comme d’habitude …😡😡😡

avatar Lu Canneberges | 

@lmouillart

Justement, je me demande, sans conspirationnisme de mauvais aloi, si Google & Co ne brident pas intentionnellement les capacités ML des smartphones Android (côté logiciel ou matériel) afin de pouvoir justifier de continuer à tout faire dans les serveurs et donc siphonner les données…

Et pendant ce temps le discours d’Apple, qui dit que grâce à cette surpuissance tout peut être fait en local quand en face ça passer par les serveurs de Google, fait mouche !

(Par contre il reste un dernier angle mort d’Apple qui sera adressé bientôt j’espère : Siri, c’est à peu près la seule opération « d’intelligence artificielle » sur les iPhone qui passe toujours par un serveur au lieu du local… après ça, il y aura de quoi sortir le bazooka marketing face à Google, et ça pourrait convaincre beaucoup de monde !)

En tout cas, comme d’habitude, on apprécie la vision à long terme d’Apple !

avatar byte_order | 

@Lu Canneberges
> je me demande, sans conspirationnisme de mauvais aloi, si Google & Co ne brident pas intentionnellement les capacités ML des smartphones Android (côté logiciel ou matériel) afin de pouvoir justifier de continuer à tout faire dans les serveurs et donc siphonner les données…

Si les perfs en acceleration ML sont pas folichones sur smartphones Android, c'est surtout qu'il y a peu d'appareils avec des accelerateurs matériel pour ça.

Hors le matos, c'est pas Google qui en décide, sauf pour sa propre marque à elle, les Pixels.
Si quelqu'un à un Pixel et veut bien partager les résultats...

Pour Siri, ne révez pas : si pour la reconnaissance de la voix y'a pas de raison de devoir dépendre d'une connexion à Internet quand on dispose d'assez de puissance locale, par contre pour "répondre" ensuite à l'énorme diversité des questions, là, y'aura pas de miracle, toute l'acceleration ML du monde ne pourra rien y faire, car ce qui compte c'est pas la vitesse d'exécution des calculs mais la taille de la base de connaissance.

Et ça c'est pas prêt de pouvoir rentrer dans un appareil individuel. Ce sont des peta et des petabytes de données, voir plus, cette base de connaissance.

avatar Darlito | 

394 avec mon iPhone 7 🙃

avatar jopaone | 

Neural Engine n’est exploité qu’avec CoreML si je comprends bien ? Le framework TFlite est incapable de toucher au Neural Engine sans être converti en CoreML ?

avatar Yves SG | 

Cela va dans la politique des 2 principaux acteurs : Apple cherche à autonomiser ses clients alors que Google cherche à forcer les siens à lui envoyer le plus de données possible, sachant que :
« Lorsque vous importez, soumettez, stockez, envoyez ou recevez des contenus à ou à travers de nos Services, vous accordez à Google (et à toute personne travaillant avec Google) une licence, dans le monde entier, d'utilisation, d'hébergement, de stockage, de reproduction, de modification, de création d'œuvres dérivées (...) »

avatar byte_order | 

Juste histoire de partager des chiffres plutot que de rester dans le flou sur les comparaisons avec Android:

Xiaomi Mi 9T Pro (2019, prix < 400€ à l'époque)
CPU 328
GPU 994
NNAPI 391

Pas folichon en effet, bien que l'acceleration via GPU soit déjà moins ridicule pour un appareil de cette tranche de prix et datant de 2 ans.

avatar Achour | 

Votre comparaison est complètement biaisée puisque le test est se base uniquement sur le cpu, or la majorité des smartphones Android sont équipées de NPU monstrueux. L'exynos 2100 et les snapdragon 888 sont actuellement les soc les plus rapide en ce qui concerne le MM et l'ia avec 26 Tops contre uniquement 12 sur l'A14 ( si ma mémoire est bonne)

CONNEXION UTILISATEUR