Neural Engine, le cerveau de plus en plus puissant des puces Apple

Mickaël Bazoge |

Il faudra sans doute attendre la présentation de la nouvelle gamme d'iPhone, qui pourrait tomber le 13 octobre, pour qu'Apple déballe le paquet sur l'A14 Bionic. Le constructeur a levé une partie du voile avec l'iPad Air 4 qui intègre la puce, mais il reste encore quelques inconnues notamment sur le plan des performances (heureusement, on peut compter sur les benchmarks officieux).

Le constructeur a toutefois livré quelques informations sur son dernier système-sur-puce (SoC), en particulier sur le Neural Engine, qui comprend 16 cœurs pouvant traiter la bagatelle de 11 000 milliards d'opérations par seconde — à comparer aux 600 milliards d'opérations de la puce neuronale intégrée au plus près du SoC de l'iPhone 8 et X, l'A11 (dont le sobriquet « Bionic » est tiré du Neural Engine) et aux 5 000 milliards de l'A12 et de l'A13.

Des accélérateurs sont également présents dans le processeur central pour accélérer la vitesse de calcul. L'A14 affiche une accélération x10 par rapport au processeur de l'A12, qui comptait deux accélérateurs (tout comme l'A13, qui affichait une accélération x6 par rapport à l'A12). Le traitement des tâches liées à l'apprentissage automatique est deux fois plus rapide avec l'A14 par rapport à l'A12.

Les apps qui s'appuient sur le framework Core ML pour certaines de leurs fonctions vont filer à toute allure. « Ça me coupe le souffle quand je vois ce que les gens peuvent faire avec la puce A14 », s'exclame Tim Millet dans le Stern allemand. Le vice-président d'Apple en charge de l'architecture des plateformes explique qu'Apple met tout en œuvre pour que cette technologie soit mise à disposition du plus grand nombre de développeurs.

Nous travaillons en étroite collaboration avec notre équipe logicielle tout au long du développement pour nous assurer que nous ne construisons pas seulement une technologie utile pour quelques-uns. Nous voulons nous assurer que des milliers et des milliers de développeurs iOS puissent en faire quelque chose.

Apple a beaucoup investi pour s'assurer qu'elle ne se contente pas simplement d'« emballer des transistors » qui ne serviraient pas. « Nous voulons que tout le monde puisse y accéder », assure le dirigeant. Bien sûr, Apple n'a pas inventé les réseaux de neurones artificiels, une technologie qui existe depuis des années. Mais Millet relève qu'il manquait jusqu'à ces dernières années deux choses pour que les techniques de l'apprentissage automatique donnent le meilleur d'elles mêmes : « un manque de données et de puissance de calcul pour développer des modèles complexes pouvant également traiter une grande quantité de données ».

C'est grâce au travail des équipes de Jony Srouji et aux évolutions apportées à la finesse des gravures de ses puces que l'A14 est aussi bien taillé pour les tâches d'apprentissage automatique, ce qu'il faudra vérifier sur pièce, évidemment (lire : La puce A11 Bionic en développement depuis l’iPhone 6).

L'A14 est gravée en 5 nm.

Face ID fait partie de ces fonctions qui font un grand usage du Neural Engine, mais comme chacun a pu s'en rendre compte, le système de reconnaissance faciale d'Apple est désarmé quand on porte un masque. Tim Millet s'en excuse : « Il est difficile de voir quelque chose qu'on ne peut pas voir », en parlant de la partie du visage couverte. Des possibilités sont envisageables comme la reconnaissance du haut du visage, mais « vous perdrez certaines des spécificités qui rendent votre usage unique », décrit-il. Potentiellement, quelqu'un pourrait déverrouiller votre iPhone plus facilement.

Le problème est donc « délicat », convient le vice-président. « Les utilisateurs veulent la sécurité, mais ils veulent aussi la commodité », et Apple cherche à s'assurer que les données sont en sécurité. La solution finalement pourrait être de combiner Face ID avec Touch ID, mais pour le moment c'est fromage ou dessert. Même si Apple continue de développer sa technologie de reconnaissance des empreintes digitales (lire : Intégrer Touch ID au bouton d’allumage de l’iPad Air 4 n’a pas été facile).

Tags
#A14
avatar titi17 | 

Pour le coup, ce serait cool d’avoir un iPhone 12 avec à la fois FaceID et TouchID sur le bouton de verrouillage. Cela aurait du sens avec cette crise sanitaire.

Mais j’ai l’impression qu’Apple va loupé le coche... peut être pour un iPhone 13 ?

avatar apple78310 | 

@titi17

Si ce n’est pas pour cette année je pense que ça se le sera jamais. On ne va pas porter des masques jusqu’en 2030...

avatar redchou | 

@titi17

Peut-être qu’ils ont modifié un peu les choses au printemps, avec la crise sanitaire, le fait de prendre un peu plus de temps pour les sortir rend cela possible...
De plus, ça faisait longtemps qu’il travaillait sur la technologie pour l’iPad Air et certainement le prochain iPhone SE.
Il faut voir si la production peut suivre, Apple ne pénalisera pas la disponibilité de son iPhone pour mettre touchID dedans, à moins qu’il ne soit pas présent dans tous les modèles...

avatar Thizzface69 | 

@titi17

Je doute qui puisse intégrer les deux. Le Touch ID pour les téléphone moyenne gamme comme le 12 et le 12 mini et les pros eux embarqueront le faceid je pense

avatar wilfried50 | 

Je préfère Touch ID

avatar IceWizard | 

@wilfried50

« Je préfère Touch ID »

Et moi j’aimerais avoir un Watch ID en plus des deux autres modes d’identification. Cela fonctionne très bien sur les Macs récents pour éviter de taper le code, si la Watch est à proximité. Je verrais bien la même chose sur les iPhones avec Face ID, pour les cas où la reconnaissance faciale est perturbée par la présence d’un masque.

avatar Titeuf208 | 

@IceWizard

+1
Ce serait une solution alternative qui me conviendrait bien. Il pourrait contrôler uniquement sur la partie haute du visage et combiner avec le fait que l'AW soit activée et à proximité pour déverrouiller l'iPhone. Au niveau sécurité ce serait amplement suffisant je pense.
Alors ceux qui n'ont pas d'AW vont râler, mais ce serait aussi un moyen pour Apple de pousser certains consommateurs à s'équiper...

avatar wilfried50 | 

Le soir dans le noir Face ID zéro

avatar kickmunkeez | 

Euh... il n’y a pas besoin de lumière pour FaceID...

avatar Chrismen78 | 

@kickmunkeez

Totalement d’accord ! Le FaceId fonctionne très bien dans une pièce totalement dans le noir.

avatar AppleDomoAdepte | 

@wilfried50

Seulement si tu dors et que tu as les yeux fermés.
Face ID n’a pas besoin de lumière.

avatar macbook60 | 

@wilfried50

Marche très bien

avatar Slaine | 

@wilfried50

Tu confond avec la reconnaissance de visage sur Android 😉

avatar wilfried50 | 

@Slaine

Hehe oui sûrement ! Lol 😂

avatar Seb42 | 

@wilfried50

Commentaire erroné ! Critiquer oui dire des bêtises pareils non merci

avatar wilfried50 | 

@Seb42

On se calme je préfère Touch ID j’ai le droit nan ? Merci je ne vous juge pas moi !

avatar Seb42 | 

@wilfried50

Dit comme cela c’est mieux de préférer l’une que l’autre mais dire que FaceID ne fonctionne pas dans le noir c’est faux c’est tout.
Cela n’a rien à voir à vous juger ou pas.

avatar Gerrer | 

Se serait pas mal que Apple face Face ID avec reconnaissance du masque 👍

avatar Chrismen78 | 

@Gerrer

"Se serait pas mal que Apple face Face ID"

Face Id = face
face ( verbe faire ) = fasse et non face
LOL !

avatar Seb42 | 

@Gerrer

C’est sur mais par quel miracle ?
L’iris ? Pas la même techno donc pas compatible.
Que les yeux ? Sûrement pas suffisant en sécurité.
Baisser la sécurité ouais moyen quand même quand l’iPhone te permets de payer sans plafond (CB sans contact) / voir tous tes mots de passes etc...
Pas simple comme sujet.

avatar Chrismen78 | 

@wilfried50

Le FaceId fonctionne parfaitement dans une pièce totalement noire, pour ma part.

avatar FredMac92 | 

Le mieux c’est en même temps Face ID et Touch ID sous l’écran.
Tout le monde retrouverait ses petits.

avatar Adodane | 

11 000 milliards d’opérations par seconde ... c’est quoi des opérations pour Apple ?
Quel beau discours marketing quand même ! 😅

avatar oboulot | 

@Adodane

Pour ouvrir Snapchat messenger et safari en multitâche c’est vrai que c’est utile d’avoir le neural engine !! :-p

Pour la batterie pas trop par contre ^^

Et sinon hormis des cas de machine learning nécessitant cette puissance.

En quoi cela est utile pour le consommateur moyen cette super puissance ultra sayans du neural engine ?
Question sérieuse que je me pose

avatar Adodane | 

@oboulot

C’est surtout que ça ne veut rien dire, c’est des opérations sur des entiers, virgule flottante, simd ?

avatar redchou | 

@Adodane

Les convolutions et multiplication de matrice utiliseraient des floats 32 bits sur le Neural engine et 16 sur la partie GPU. Les détails de l’implémentation ne sont pas public.

avatar Seb42 | 

@oboulot

Je ne suis pas spécialiste mais Face ID avec un iPhone 6 n’aurait pas été possible je pense,
La qualité des photos s’en trouve aussi améliorée, la RA et je dois en oublier.

avatar armandgz123 | 

@Seb42

Ça m’étonnerait qu’un iPhone 6 ne puisse pas intégrer Face ID...

avatar Seb42 | 

@armandgz123

Oui même le 3G pourrait au final il ne s’agit que de traiter de la data mais en combien de temps le visage serait reconnu pour traiter tous les points ?
S’il faut 5 secondes pour déverrouiller on trollerait tous App’e.

avatar raoolito | 

@oboulot

Iphoto et la reconnaissance des visage ou les selections de photos et les compilations a la volée , capture de mouvement de arkit, les recommandations de siri et j’en oublie

avatar Florent Morin | 

@oboulot

C’est utilisé aujourd’hui pour la prise de photos, la réalité augmentée, la recherche dans les photos (Ex. « Chien », « plage », personne), Face ID et sûrement d’autres choses.

Après, il y a des apps spécialisées. Comme PhotoRoom. Ou, encore plus spécialisée, une app iPad qui estime la quantité de sang perdu par un malade à partir de la photo d’un tissu (utilisée en hôpital pour les transfusions).

Mais c’est encore sous-exploité. Apple a juste anticipé les besoins matériels.

avatar oboulot | 

@FloMo

Merci à vous ainsi que aux autres commentateurs pour vos réponses :)

avatar Florent Morin | 

@oboulot

De rien. 😁

avatar Florent Morin | 

@Adodane

Ce sont des opérations spécifiques aux réseaux neuronaux.

Par exemple, pour détecter un objet dans une image, on va exécuter des millions de tâches très simples en parallèle. C’est pour ça qu’on utilise les GPU sur ordinateur pour ce type d’opérations.

Mais les puces spécialisées ont l’avantage d’être optimisées pour ces traitements.

Donc plus c’est rapide, mieux c’est.
Soit on y gagne en performances, soit en autonomie. Selon la complexité de la tâche.

Ce qui est clair, c’est que ce sera pleinement exploité à partir de iOS 15 ou 16. Déjà, entre iOS 13 et 14, les choses se sont améliorées.

Mais vu la durée de vie des appareils, le matériel doit être prêt avant le logiciel. Quitte à être sous-exploité à sa sortie.

avatar Adodane | 

@FloMo

Oui mais pour les GPU, on parle de teraflops, ce qui est un peu plus “parlant”, donc 30 000 milliards d’opérations en virgule flottante par seconde pour les derniers GPU de nvidia par ex, mais qui sont des monstres de consommation.

avatar Florent Morin | 

@Adodane

C’est exactement la différence. Apple devrait peut-être préciser « sans augmenter significativement la consommation ».

avatar Adodane | 

@FloMo

Non la différence c’est que Apple ne dit pas ce que c’est et ça m’étonnerais que ça soit des opérations sur des nombres en virgule flottante.
C’est beau le marketing mais à un moment faut donner du concret.

avatar Florent Morin | 

@Adodane

Les benchmarks sur de l’apprentissage permettent de voir la différence.

Il y a un code source sur GitHub qui s’appuie sur MINST pour mesurer les performances à l’apprentissage.

Sur 10 Epochs (excessif, mais pour benchmark), le modèle est entrainé / testé en 2 minutes sur un iPhone 11 iOS 14 alors qu’il fallait 4 minutes avec le SDK iOS 13.
C’est-à-dire que le SDK iOS 14 commence à exploiter le matériel.

2 minutes 30 sur un CPU Intel macOS via Tensorflow. (sans GPU, sinon ce serait fait en une fraction de seconde avec l’artillerie lourde)

Donc c’est loin d’être médiocre pour un appareil qui fonctionne sur batterie.

En gros, si le même modèle est entraîné en 1 minute sur iPhone 12, on saura que ça va 2 fois plus vite.

La seule vraie valeur est le test en conditions réelles.

https://github.com/JacopoMangiavacchi/MNIST-CoreML-Training

C’est vraiment sympa à tester. On voit d’ailleurs que l’iPad Pro 3 a les mêmes perfs que l’iPhone 11 dans cette partie. Ce qui est assez cohérent si on considère le boost matériel de l’iPad Pro.

En tout cas, ces performances sont hallucinantes pour un appareil mobile. Du moins, quand elles sont activées côté logiciel.

Donc oui, il y a un discours marketing. Mais ça donne un indicateur qui est mesurable.

avatar 0MiguelAnge0 | 

@FloMo

Pourquoi ne pas exprimer l’unité simplement? Oui le marketing d’Apple aime les chiffres ronflants. 11 Tops, c’est plus court mais moins wahou sans doute?
Pour mettre les chiffres en percepective, des puces dédiées pour certains traitements video dans l’automobile embarquent par défaut des CNN avec 8Tops, euh pardon, mode show off on, 8000 milliards et elles sont gravées en 16nm...
Et pour les versions performances, elles embarquent jusqu’à 8 unités pour un total de 64 Tops...
11 Tops en 5nm c’est comment dire assez basiques en 2020...

avatar redchou | 

@0MiguelAnge0

Oui, il y a des puces de 5nm qui font 11Tops dans tous les téléphone en 2020...

avatar coink | 

@0MiguelAnge0

Comment dire tout et son contraire en une phrase. On voit bien la difficulté des fondeurs à descendre au 5 ou 7nm. Suffit de voir Intel bloqué à 14. Donc 11Tops dans un SoC à 5nm orienté consumer, ça me parait assez avancé par rapport à ton exemple de puce industrielle.

avatar Florent Morin | 

@0MiguelAnge0

Core ML va utiliser au mieux les unités de calcul.
Le GPU et certaines instructions CPU sont déjà utilisés.
Mais le neural engine est spécifiquement adapté au logiciel. Et donc, à puissance brute égale sera plus performant.
Comme le GPU est plus performant pour du calcul graphique qu’un CPU à performances égales.

avatar Tomtomrider | 

@FloMo

Bonjour,
Pouvez-vous faire passez afin de rédiger un article là-dessus? Comment le core ML fonctionne, quelles applications l'utilise actuellemet avec pourquoi pas l'interview d'un développeur et quels avantages pour moi, enfin, les utilisateurs d'iphone quoi :)
Pourquoi pas un Kernel Panic!
Merci

avatar reborn | 

iPhone SE 2020 + 😷 = 😎

avatar romainB84 | 

«  La solution finalement pourrait être de combiner Face ID avec Touch ID »

En quoi c’est une solution?
Ceux qui ont déjà un iPhone X, XS, XR, 11, 11 pro... ils l’ont dans l’os du coup?
La solution doit se trouver de manière logiciel pour que tous aient droit à une correction.
Pourquoi ne pas proposer une option à cocher pour n’analyser que le haut du visage ?
Comme dit l’article c’est moins secure mais c’est l’utilisateur qui choisira ...
Comme la surveillance des yeux etc ...

avatar oboulot | 

@romainB84

+1 ça serait vraiment bien oui.

avatar Grek0497 | 

C’est quand même beaucoup du marketing tout ça. Au final l’iPhone n’est pas fondamentalement différent d’un Samsung ou autre. Tout le blabla d’Apple il y a 2 ans avec la puce jesaisplusquoi qui allait rendre vos photos sensationnelles. Au final pas de grandes différences la non plus...

avatar Krysten2001 | 

@Grek0497

Niveau vidéo et puissance,... si 😉

avatar armandgz123 | 

@Grek0497

Bah... la concurrence se développe aussi, et globalement, le secteur concentre ses efforts sur les mêmes technologies

avatar raoolito | 

@Grek0497

Les superpouvoirs des pixel en matière de photo sont une avancée directe de l’ia, idem pour les iphone11 pour filmer la nuit etc...
On a avancé mais vous ne l’avez pas « vu » car vos yeux, vos oreilles et votre capacité de discernement sont encore bien meilleurs que le meilleur de ce que l’on sait faire
( sérieusement)
Sans doute trop d’attente de votre part

Pages

CONNEXION UTILISATEUR