Geekbench ML mesure l’intelligence artificielle des smartphones iOS et Android
Geekbench ML est une nouvelle app des créateurs de Geekbench, solution bien connue de mesure des performances des smartphones, tablettes et autres ordinateurs. Comme son nom le suggère, cette nouvelle app est destinée à mesurer les performances en « machine learning », un apprentissage automatisé qui est devenu central dans l’informatique moderne. L’app est disponible sur iOS et Android, avec des tests qui permettent de comparer les deux plateformes.
Cette première version est numérotée 0.5 pour signaler que c’est une bêta. Les créateurs de Geekbench indiquent dans l’article de blog qui accompagne la sortie de l’app que la version finale devrait sortir d’ici la fin de l’année. D’ici là, le moteur va évoluer rapidement, à tel point que les scores générés ne seront pas comparables d’une version à l’autre. Les résultats générés par l’app aujourd’hui ne seront pas forcément les mêmes que ceux de la prochaine mise à jour.
En revanche, GeekbenchML a été conçue dès le départ pour permettre les comparaisons entre systèmes d’exploitation. Sous le capot, c’est TensorFlow qui a été utilisé pour mesurer les performances. L’app permet de réaliser le test de trois manières : en se basant sur le CPU uniquement, en se basant sur le GPU seulement, ou bien en exploitant toutes les capacités du SoC intégré au smartphone. Sur un iPhone, cela veut dire utiliser CoreML, l’API d’Apple qui exploite le CPU, le GPU et surtout le réseau neuronal des puces maison.
Comme avec Geekbench, les scores peuvent être mis en ligne à la fin. Voici ce que cela donne pour mon iPhone 11 Pro sous iOS 14.6, en faisant travailler uniquement le CPU. Et puisque les scores sont mis en ligne, ils peuvent aussi être comparés : une nouvelle section du site a ainsi été mise en ligne pour collecter les scores générés par l’app. Autant dire que cette comparaison est cruelle pour Android, les iPhone occupent toutes les premières places laissant les meilleurs smartphones concurrents loin derrière.
Pour vous donner un exemple, le OnePlus 9 est le meilleur smartphone Android sur le test basé uniquement sur le CPU et il arrive dixième du classement. Devant lui se trouvent neuf iPhone, de l’iPhone 12 en tête jusqu’à l’iPhone 8 Plus, classé neuvième. Pour le dire autrement, un vaisseau amiral de 2021 équipé du meilleur SoC de Qualcomm (Snapdragon 888) fait moins bien qu’un iPhone sorti en 2017.
Geekbench ML est disponible gratuitement, l’app n’est pas proposée en français et elle nécessite iOS 14.
Très heureux d’être au fond de la classe avec mon 8 Plus 🐐
@ValentBay
Et en vrai (dans la vraie vie), c’est quoi la différence notre la 1ère et la 10ème place ? Ça se traduit comment pour l’utilisateur ? Qu’est-ce que fait l’un et pas l’autre quand j’ai les 2 téléphones dans la main ? En quoi un possesseur de One Plus est-il réellement pénalisé p/r à un possesseur d’iPhone XR ?
@Pyjamane
Ben pénalisé car ça craint d’avoir ce classement. 😬
Ok ok ———> 🗿
@Pyjamane
je vais vous donner un exemple simple. On vient de sortir tous ensemble pour un apres midi dans le schamps. l'iphone a filmé, pris de sphotos etc.. on rentre et on veut faire un montage de l'ensemble de la journée, les meilleurs moments, etc..
Avant meme de rentrer, "photos" vous proposera facilement cette video et vous l'exportera que vous pourrez partager avec les gens autour sur un lien qulconque ou par airdrop pour les iphone users.
et ca, faire un export 4K 60fps de 3mn c'est pas du tout rapide. il fallait des stations il y a quelques années pour cela, alors qu'un iphone 2021 vous expedie cela sans broncher.
en 2eme point, on notera que le sipad utilisent aussi ces puces (les memes en version boostées) et là on parle carrément d'app de travail graphique, de montage, son et bien sur.. de "Photos" :)
@raoolito
Un smartphone Android ne peut-il pas le faire ? Si non, est-ce lié à un manque de puissance ? N’ayant pas utilisé de smartphone Android depuis, ben toujours, je m’interroge.
@Tomtomrider
Beaucoup moins rapide en effet, le machine learning étant beaucoup plus puissant dans ces tâches, et même en l’enlevant, le CPU d’un iPhone écrase toute concurrence. En gros l’export sera 2 à 3 fois plus rapide… et on ne parle que de vidéo. Cette rapidité sert dans presque toutes les tâches au final.
C’est aussi une des raisons qui fait que FaceID reste pour le moment bien plus fiable et efficace sur un iPhone que sur n’importe quel Android. Même en mettant les memes caméras et autres accessoires utilisés par Apple pour cette technologie, il manquera la puissance brute pour faire quelque chose de fiable ET quasi instantané.
@raoolito
Haha
Non ça ne me fait pas bander.
Quel intérêt de faire à ma place ce montage?
@xDave
alors deja prenons quand meme garde aux mots et expressions choisis svp 😅
ensuite tout depend de l'utilisation du smartphone de chacun. tant sue l'on reste sur lire ses emails sur le wifi et téléphoner ou remplir son agenda ( bref un telephone de 2012 fonctionnera encore) inutile de changer
des qu'on est beaucoup sur les réseaux sociaux alors deja il faut un truc récent ( deja pour la securite) et la puissance viendra avec, pas totalement inutile quand on voit combien ces apps sont mal optimisées
et si on utilise son smartphone comme monteur photo video/ partage de connexion 5g et qu'on est fan d'avararify alors là...
@Pyjamane
Une différence fondamentale c’est que l’iPhone va exécuter tout un tas de calculs/traitements en local (et donc même à la campagne ou en mode avion, et surtout respectueux de ta privée), alors que l’Android va envoyer tes photos ou données sur les serveurs de Google pour faire la même opération, vive la vie privée et les forfaits data !
Donc vie privée, consommation électrique, vitesse… en profitent !
Et tout un tas d’application concrètes aussi comme la reconnaissance d’image/son/texte…, le calcul de distances en AR, le classement des photos, l’optimisation de la batterie, l’exportation de vidéo, et toutes les petites opérations « d’intelligence/anticipation ».
En gros, à part Siri, l’iPhone est capable de tout faire en local, sans internet, quand Android ne peut faire la même chose que sur serveur ou alors beaucoup plus lentement !
@Lu Canneberges
Après il y a peut-être une volonté politique de l’entreprise Google à vouloir passer par un cloud. Le traitement des photos comme la recherche et reconnaissance des visages se fait iPhone branché et en veille sur iOS. Et ça prend le temps que ça prend. Peut-être, et même sûrement, un appareil Android pourrait en faire de même. Certe en plus de temps mais un téléphone branché toutes les nuits devrait finir par pouvoir scanner une bibliothèque photo sans problème je pense. Après j’avoue que les restes des exemples où le traitement doit être très rapide il faut du muscle processeural c’est évidemment.
Utilisable sur mac m1 ?
@mne
Ca devrait fonctionner avec un mac M1 et Big sur n’est-ce pas?
Je serai intéressé de voir ces résultat!
😎
Et plus largement la comparaison avec les procs Intel 📊
@mne
Il sagit d'une app iOS, donc oui.
Si le développeur a désactivé l'option, le score devrait être à peu près identique à celui du iPad Pro M1 de toute façon
Et donc ça c’est sans prendre en compte le 12 Pro, le XS Max et d’autres iPhone ? La différence est encore plus flagrante en regardant le NPU… :o
Bizarre qu’il n’y ait pas d’iPhone X dans le classement. Personne n’a dû faire de test avec sûrement. Si c’est le cas, il n’y aurait pas du tout d’android dans le classement. 😝
@roccoyop
Effectivement, je viens de faire le test avec le miens et il se place entre le 8 plus et le Xr avec un score de 412 en CPU 👌🏻
https://ibb.co/xj1cVwX
Apple ne nous promettais pas des gains plus importants entre générations dans les Keynote?
Plus Importants pour faire quoi ?
J’ai l’impression que personne n’est capable de répondre…
@Pyjamane
T'as pas l'air de te rendre compte que ça sert pour tout, pour prendre des photos et pour utiliser l'app mesurer par exemple.
@Pyjamane
Autre exemple: la fonction ML Super Resolution de Pixelmator Pro (agrandissement de photo « sans », ou très peu de, perte) est jusqu’à 10 voire 15 fois plus rapide sur M1 que sur Intel, grâce au Neural Engine.
Le Machine Learning est et sera de plus en plus utilisé. C’est un gage de durée pour les appareils qui l’exploitent le mieux.
@Pyjamane
ca depend si vous faites des slideshow/exports de votre journée de sortie sur votre iphone, vous sentez la différence. La 4K 60fps de 3mn se calcule comme un charme sur les A14 :)
C’est quoi ce bench ? Le CPU tout seul est seulement deux fois plus lent que le GPU … CPU + GPU c’est supérieur à NPU, il sert a quoi le neural engine ?
@Adodane
> C’est quoi ce bench ? Le CPU tout seul est seulement deux fois plus lent que le GPU …
Il n’y a 6 coeurs CPU et 4 coeurs GPU sur du A13.
Et ce ne sont pas les mêmes optimisations.
> CPU + GPU c’est supérieur à NPU, il sert a quoi le neural engine ?
GPU, c’est CPU + GPU.
Core ML, c’est CPU + GPU + NPU.
Le Neural Engine est spécialisé dans les réseaux de neurones, une branche spécifique du ML.
Chaque puce a ses spécificités ML.
C’est hyper variable. C’est juste un indicateur avec Tensorflow.
Par exemple, de iOS 13 à iOS 14, les performances ont doublé à matériel égal. Le temps du développement logiciel qui va exploiter le matériel.
@FloMo
C’est écrit dans l’article que CPU c’est juste le CPU ( par contre on ne sait pas si ça utilise juste la courts ARM ou aussi les accélérateurs ), GPU c’est juste GPU et non CPU+GPU.
Bref un bench pas du tout cohérent comme d’habitude chez geekbench …
Si je prends mes résultats sur un 12 Pro 6Go/512 Go, cela donne :
CPU : 850
GPU : 1504
CoreML : 2092
Alors à quoi peut servir cette puissance mis à disposition pour du machine learning ? Par exemple pour de la retouche photo ou vidéo, la reconnaissance d’objet, de caractères, de sons, leur classification et traitement, etc.
Ce qui est intéressant c’est ce passage, pour donner un élément de comparaison (même si les résultats évolueront forcément d’ici la version finale) :
« Geekbench ML scores are calibrated against a baseline score of 1500 (which is the score of an Intel Core i7-10700) »
@vincentn
la reconnaissance de visages, les montages de vos photos/videos (ml> selections et montage automatique plus rapide > GPU+CPU> calcul et rendu plus rapide)
Les Android sont aux pâquerettes …ça va jaser 🤣🤣🤣🤣
Plus ou moins car le parti pris coté Android, et surtout Android à la sauce Google, c'est que ces traitements sont très majoritairement fait coté serveur.
D'autant plus que les appareils intégrés pour le moment au classement ne sont pas les plus puissants chez le bonhomme vert (à l'exception du oneplus 9 mais qui est distancé par un mate 40 pro ou un galaxy s21 ultra par exemple).
Les iPhone sont devant mais je pense qu'il faut attendre d'avoir des retours en masse avant de crier au massacre.
@lmouillart
C’est l’excuse qu’ils vont trouver …et comme cela ils enregistrent tout à notre insu comme d’habitude …😡😡😡
@lmouillart
Justement, je me demande, sans conspirationnisme de mauvais aloi, si Google & Co ne brident pas intentionnellement les capacités ML des smartphones Android (côté logiciel ou matériel) afin de pouvoir justifier de continuer à tout faire dans les serveurs et donc siphonner les données…
Et pendant ce temps le discours d’Apple, qui dit que grâce à cette surpuissance tout peut être fait en local quand en face ça passer par les serveurs de Google, fait mouche !
(Par contre il reste un dernier angle mort d’Apple qui sera adressé bientôt j’espère : Siri, c’est à peu près la seule opération « d’intelligence artificielle » sur les iPhone qui passe toujours par un serveur au lieu du local… après ça, il y aura de quoi sortir le bazooka marketing face à Google, et ça pourrait convaincre beaucoup de monde !)
En tout cas, comme d’habitude, on apprécie la vision à long terme d’Apple !
@Lu Canneberges
> je me demande, sans conspirationnisme de mauvais aloi, si Google & Co ne brident pas intentionnellement les capacités ML des smartphones Android (côté logiciel ou matériel) afin de pouvoir justifier de continuer à tout faire dans les serveurs et donc siphonner les données…
Si les perfs en acceleration ML sont pas folichones sur smartphones Android, c'est surtout qu'il y a peu d'appareils avec des accelerateurs matériel pour ça.
Hors le matos, c'est pas Google qui en décide, sauf pour sa propre marque à elle, les Pixels.
Si quelqu'un à un Pixel et veut bien partager les résultats...
Pour Siri, ne révez pas : si pour la reconnaissance de la voix y'a pas de raison de devoir dépendre d'une connexion à Internet quand on dispose d'assez de puissance locale, par contre pour "répondre" ensuite à l'énorme diversité des questions, là, y'aura pas de miracle, toute l'acceleration ML du monde ne pourra rien y faire, car ce qui compte c'est pas la vitesse d'exécution des calculs mais la taille de la base de connaissance.
Et ça c'est pas prêt de pouvoir rentrer dans un appareil individuel. Ce sont des peta et des petabytes de données, voir plus, cette base de connaissance.
394 avec mon iPhone 7 🙃
Neural Engine n’est exploité qu’avec CoreML si je comprends bien ? Le framework TFlite est incapable de toucher au Neural Engine sans être converti en CoreML ?
Cela va dans la politique des 2 principaux acteurs : Apple cherche à autonomiser ses clients alors que Google cherche à forcer les siens à lui envoyer le plus de données possible, sachant que :
« Lorsque vous importez, soumettez, stockez, envoyez ou recevez des contenus à ou à travers de nos Services, vous accordez à Google (et à toute personne travaillant avec Google) une licence, dans le monde entier, d'utilisation, d'hébergement, de stockage, de reproduction, de modification, de création d'œuvres dérivées (...) »
Juste histoire de partager des chiffres plutot que de rester dans le flou sur les comparaisons avec Android:
Xiaomi Mi 9T Pro (2019, prix < 400€ à l'époque)
CPU 328
GPU 994
NNAPI 391
Pas folichon en effet, bien que l'acceleration via GPU soit déjà moins ridicule pour un appareil de cette tranche de prix et datant de 2 ans.
Votre comparaison est complètement biaisée puisque le test est se base uniquement sur le cpu, or la majorité des smartphones Android sont équipées de NPU monstrueux. L'exynos 2100 et les snapdragon 888 sont actuellement les soc les plus rapide en ce qui concerne le MM et l'ia avec 26 Tops contre uniquement 12 sur l'A14 ( si ma mémoire est bonne)