Siri apprend à apprendre sur le cloud, mais agit en local

Nicolas Furno |

Siri a largement dépassé son rôle de simple assistant vocal des débuts. Apple utilise ce nom pour désigner toutes les fonctions d’assistance de ses produits, qu’il s’agisse des suggestions d’apps de Spotlight, des résultats de recherche dans Safari ou bien du cadran dédié de watchOS 4. Toutes ces fonctions n’ont d’intérêt que si Siri en sait le maximum sur vous, mais le constructeur a toujours refusé de collecter des données personnelles.

Le cadran Siri, l’une des nouveautés de watchOS 4. Cliquer pour agrandir
Le cadran Siri, l’une des nouveautés de watchOS 4. Cliquer pour agrandir

Dans un entretien accordé à Fast Company, Greg Joswiak a réitéré cet engagement et assuré qu’Apple pouvait en offrir autant que ses concurrents, mais sans compromettre la vie privée de ses utilisateurs. La clé, rappelle-t-il, est de faire le maximum directement sur les appareils Apple qui sont déjà très puissants et ne cessent de s’améliorer, génération après génération.

Photos, par exemple, analyse tous vos clichés à la recherche des personnes et aussi des objets qui s’y trouvent, mais l’app fait tout ce travail sans aucun serveur (lire : Photos : Apple copie Google… la confidentialité en plus). Chaque iPhone, iPad et Mac est mis à contribution pour enrichir la bibliothèque de l’utilisateur, iCloud ne servant plus qu’à synchroniser les données chiffrées. Avec iOS 11, les noms des personnes identifiées seront aussi synchronisés via iCloud, mais les serveurs ne servent qu’à transférer les données, pas à faire le travail d’identification lui-même.

C’est la même chose pour les commandes vocales de Siri. Par exemple, si vous demandez à l’assistant de créer un rendez-vous avec Jean, la requête est effectivement envoyée sur les serveurs d’Apple pour la partie reconnaissance, mais c’est votre appareil qui se charge de l’effectuer en local. C’est votre appareil qui crée l’événement et qui va chercher le bon contact dans votre carnet d’adresse local, le serveur n’a renvoyé qu’une directive générique et impersonnelle.

Cette stratégie est centrale chez Apple et elle distingue l’entreprise de Google ou de Facebook, où le serveur est au centre. Jusque-là, l’entreprise de Tim Cook a été pénalisée par ce choix en termes de fonctions et d’intelligence, mais les modèles s’améliorent chaque année et les vitesses de traitement aussi. Le constructeur travaillerait même sur une puce dédiée spécifiquement à l’intelligence artificielle, pour améliorer encore son assistant.

La toute première version de Siri, sur un iPhone 4S. Cliquer pour agrandir
La toute première version de Siri, sur un iPhone 4S. Cliquer pour agrandir

L’article détaille le processus mis en place par Apple pour améliorer son assistant. L’entreprise exploite bien ses serveurs, mais uniquement sur des données anonymes, et uniquement pour créer les modèles de données. Pour faire simple, les fonctions d’intelligence artificielle reposent toutes sur un modèle qui doit permettre de faire face à n’importe quelle situation. Il ne s’agit plus seulement de programmer une série de questions/réponses comme aux débuts de Siri, il s’agit de créer un système capable de comprendre n’importe quelle question et d’apporter une réponse appropriée.

Pour que Siri apprenne à apprendre, Apple travaille sur six mois de données anonymes et génère à partir de cette masse d’informations un modèle de machine learning. Ce modèle est ensuite intégré à iOS, macOS et watchOS et il est appliqué aux données en local. À ce stade, il n’y a plus d’interaction avec les serveurs, c’est Siri qui travaille en local à partir du modèle créé sur les serveurs.

Ce modèle est constamment amélioré par Apple sur ses serveurs, à partir des données collectées anonymement et chaque mise à jour des systèmes d’exploitation est l’occasion d’améliorer Siri sur tous les iPhone, iPad, Mac et Apple Watch. Cela sert autant pour améliorer la qualité de la reconnaissance vocale de Siri, que pour détecter un rendez-vous dans un message ou un mail, ou bientôt pour améliorer les cartes présentées sur le cadran Siri des montres.

Les données les plus importantes, toutes celles qui concernent votre vie privée, restent ainsi sur votre terminal. Elles transitent sur les serveurs d’Apple, uniquement pour la synchronisation, chiffrées de bout en bout et donc illisibles même si l’entreprise le souhaitait. Ces données peuvent représenter plusieurs centaines de mégaoctets et elles sont enrichies régulièrement. Par exemple, iOS 11 est capable de comprendre que vous vous intéressez à un lieu à partir de vos recherches Safari et proposer des résultats liés à ce lieu.

Photo Fast Company. Cliquer pour agrandir
Photo Fast Company. Cliquer pour agrandir

Cette transformation de Siri vers l’intelligence artificielle est encore assez récente, elle a commencé il y a seulement deux ans. Auparavant, Apple était resté sur le modèle original, assez simple, où l’assistant vocal piochait dans une immense base de données de questions et réponses. Le constructeur en a aussi profité pour développer son propre moteur de reconnaissance vocale et remplacer celui de Nuance qui servait jusque-là. Et l’intelligence artificielle a aussi servi à améliorer la qualité des voix.

Tous ces efforts sont toujours en cours et les effets sont surtout visibles pour les utilisateurs anglophones pour le moment. iOS 11 apporte justement des voix anglaises en net progrès en termes de réalisme. Tout le monde devrait toutefois en profiter à terme, tandis qu’Apple devrait continuer à améliorer en permanence les modèles sur ses serveurs.

avatar yurt | 

C'est drôle, plus Siri progresse, moins je l'utilise... Je me rends compte que je supporte de moins en moins bien ses errances, et j'ai l'impression qu'il me renvoie de plus en plus vers une bête recherche internet...

L'autre jour j'ai essayé de lui faire écrire une liste de courses... la catastrophe.

avatar Sgt. Pepper | 

@yurt

Je sais pas comment tu te débrouilles ?
Même avec mon Watch, Siri fonctionne très bien.

Je te conseilles de lire la doc:
https://www.apple.com/fr/ios/siri/

Et de parler "fluide" et non pas comme un robot ?

avatar matthew3321 | 

@Sgt. Pepper

Je confirme... Siri est de moins en précis... "Dis Siri" s'active une fois sur 15, elle répond plus à mon conjoint qu'à moi alors que j'ai enregistré ma voix... Je trouvais la fonction presque mieux sur mon 4S

avatar Sgt. Pepper | 

@matthew3321

Et donc tu en déduis que Le problème est Siri ?

Essaye de reconfigurer ton "dis siri" puis de restaurer complément ton iPhone.

Sinon tu as un problème matériel à voir dans un Apple Store. Mais rien à voir avec Siri lui même ...

avatar dk53 | 

Mauvaise foi quand tu nous tiens.

Evite de faire de ton cas une généralité :) Siri marche très bien chez des gens, moins chez d'autres.

Quand à l'apple watch série 0, c'est plutôt complexe à utiliser.

avatar Sgt. Pepper | 

@dk53

Ou l'inverse ?

Des personnes qui ont des difficultés et qui remontent sur les forums des généralités "Siri c'est Nul"

Au contraire j'indique que chez moi cela fonctionne correctement donc que le problème est peut être à chercher ailleurs .... ou pas ?

Maintenant si ceux ci préfèrent rester avec une fonction qui fonctionne mal faute de réglages ===> OK

avatar steph0678 | 

@Sgt. Pepper

J’ai lu le fil de tes posts sur le sujet et franchement bravo pour ton calme et ta pédagogie sur ce sujet. C’est tellement rare.

Je suis d’accord avec toi sur les points que tu abordes et je pense qu’on peut vraiment féliciter les choix d’Apple sur la préservation de la confidentialité des données de ses clients.

Quant à l’amélioration de Siri, bien sur qu’il reste du chemin mais rien n’est facile. N’oublions pas que Siri réussi l’exploit d’être l’assistant personnel disponible dans le plus de langues différentes !

Siri remplit dès à présent la plupart des taches que je lui demande (domotique, lecture et réponse aux messages, calendrier,...).

Patience, le reste viendra mais avec nos données protégées en plus.

avatar iQuentin | 

Siri fonctionne aussi très bien chez-moi et aucun problème avec ma Watch Series 0. La compréhension est rapide et excellente sauf pour certains lieux, magasins où marques. Et il reste inutile pour piloter l'app Musique puisque à moins d'écouter uniquement de la variété française, la plupart des titres sont en anglais.

avatar matthew3321 | 

@Sgt. Pepper
Justement ça a été fait... donc bon le ton moralisateur on s'en passera... force de constater qu'au fil des années Siri m'est de moins en moins agréable d'utilisation...

avatar Smartiiez | 

À savoir que la fonction est désactivée quand on est en mode économie d'énergie (icône de batterie jaune).

avatar expertpack | 

@Sgt. Pepper

peut tu essayer 'irma' ?

jamais reussi a obtenir des infos sur cet ouragan.
l'IA c' est aussi cela. s'adapter au contexte

avatar Sgt. Pepper | 

Il ne reste plus qu'Apple pour se soucier de notre vie privée et de ne pas nous utiliser comme Produit ?

Le nouvel Apple TV sous A10x devrait être une piece importante pour le traitement de ces data personnels: ???

- en étant en permanence connectée à l'iCloud sans pb de batterie
Elle offre une capacité de calcul phénoménale ?

avatar watatzor | 

@Sgt. Pepper

Tu as déjà suffisamment "saigné" en achetant des devices Apple, et en ça tu es déjà un produit,pourquoi chercher à te plumer davantage ? Ils ne sont pas sadiques chez Apple tout de même ...

avatar Sgt. Pepper | 

@watatzor

Non ?
Quand j'achète un IPhone ? le produit reste l'iPhone.
Justement j'ai conscience que le prix contient aussi la gestion confidentielle de la data
Et non la revente à des entreprise de Pub , Marketing ( et autre flicage politique je ne sais où)

Certes c'est plus cher, mais personne ne t'empêche d'acheter un mobile Android ...

avatar Malvik2 | 

Bah même en parlant normalement ça reste largement perfectible...
Perso ça fait 5 ans que Siri n'est pas foutu de reconnaître certains mots que j.utilise au quotidien, alors même que je le corrige à chaque fois

avatar Sgt. Pepper | 

@Malvik2

Lesquels ? Un exemple ?

Moi le seul qui m'embête c'est "Deezer" ☺️
Il doit le faire exprès ?

avatar Malvik2 | 

@Sgt. Pepper

Bah par exemple, travaillant avec mon frère, je lui dis souvent j'arrive "au Bergson". Naturellement il ne connaissait pas ce nom aussi je l'ai corrigé aussi souvent que possible; 5 ans plus tard il m'écrit toujours "j'arrive au personne"...
Pas faute de bien articuler

D'autant que chez la concurrence, pour avoir fait l'essai, ça corrige bien

Après à la décharge de Siri, il est vrai que selon la connexion le résultat varie énormément pour sa qualité de transcription

avatar LeGrosJeanLou | 

@Malvik2

C'est curieux, je viens de faire l'essai avec Bergson pour voir si c'était un problème de reconnaissance et chez moi ça marche très bien. Pourtant je ne lui ai pas appris. Par contre j'ai le dico système anglais activé (celui auquel on accède quand on clique sur un mot pour le sélectionner) et la prononciation anglaise également (celle qui permet de prononcer un mot en Anglais ou Français toujours dans le même menu).

Mais il y a quelques années j'avais remarqué que certains mots étaient corrigés automatiquement dans une version bizarre, comme bonne nouvelle qui était systématiquement corrigé en Bonne Nouvelle. C'était vraiment super pénible. Mais le problème semble résolu aujourd'hui.

Une correction orthographique que j'aimerais bien pouvoir annuler aussi c'est le a qui est systématiquement transformé en à. C'est horripilant.

Tu peux essayer un truc si tu tiens à utiliser Siri et que Bergson te pose problème. C'est un peu un pis aller mais ça peut aider. En créant un contact Bergson (tu pourras ajouter l'adresse du lieu comme ça) tu peux ensuite lui apprendre à le prononcer (et donc le reconnaitre).

Sinon pour en revenir à l'actualité Apple, peut-être que Siri fonctionnera hors connexion sur le nouvel iPhone.

avatar alitaliano | 

@LeGrosJeanLou

Je suis très intéressé de savoir où se trouve ce réglage de prononciation anglaise, s'il existe vraiment car je viens de chercher en vain.

avatar Sgt. Pepper | 

@alitaliano

Cela se fait dans Général > Clavier > ClavierS

avatar LeGrosJeanLou | 

@alitaliano

Il faut aller dans Réglages -> Général -> Claviers

Puis cliquer sur Claviers pour ajouter le clavier Anglais

Et enfin cocher Activer Dictée tout en bas.

Ça active d'autres fonctions comme la dictée en Anglais quand tu sélectionnes le clavier anglais. Utile pour pratiquer un peu la langue quand t'es loin d'un anglophone.

Quand tu cliques sur un mot tu peux afficher sa définition et choisir la langue de prononciation. Quand tu cliques sur un texte complet c'est la langue détectée au début du texte qui est choisie automatiquement pour la prononciation, il faut donc faire attention à la langue de l'en-tête (par exemple dans un flux RSS)

avatar alitaliano | 

@LeGrosJeanLou

OK merci, je pensais que ça pouvait permettre à Siri de comprendre des mots anglais insérés dans une phrase française, mais ce n'est pas le cas. J'avais déjà la dictée avec le clavier anglais activés chez moi.

avatar LeGrosJeanLou | 

@alitaniano

En effet Siri ne sais pas encore détecter deux langues différentes dans la même phrase. Mais tu remarqueras que les humains bloquent aussi ^_^. J'ai un pote américain par exemple, si je lui parle en Anglais au milieu d'une phrase en Français il bloque presque systématiquement (j'ai longtemps imputé ça à mon accent), alors qu'il me comprends toujours quand je commence ma conversation en Anglais.

Ça doit être super compliqué gérer pour une IA, surtout s'il lui manque le contexte.

Peut-être qu'iOS 11 améliore les choses puisque Siri sait traduire maintenant.

avatar Sgt. Pepper | 

@Malvik2
???
Marche nickel chez moi "BerG-sonne" ?

avatar ce78 | 

C'est très intéressant cet article. Le contrôle de l'utilisateur sur ses données privées est important, essentiel, fondamental.

Il est scandaleux de voir le caractère très intrusif de Facebook, qui d'ailleurs gardé vos données visiblement sans limite de durée (j'en ai eu la preuve il y a 15 jours avec un compte provisoire que j'avais créé en 2006 !). Ils veulent TOUT savoir. Je me suis même aperçu qu'ils me proposaient en suggestion d'ami une personne que je n'ai qu'une fois au téléphone et dont je n'ai pas enregistré le nom dans mes contacts. Facebook a donc eu accès à mes appels téléphoniques (soi dit en passant : pourquoi Apple laisse faire ça ?), et a corrélé ce numéro avec ses fichiers pour me proposer cet "ami". Ça veut dire que Facebook croise des fichiers à partir de données auxquelles elle n'est pas supposée avoir acces. Ça s'appelle un délit d'intrusion dans un système informatique et c'est puni de 5 ans d'emprisonnement.

Quant à Google, je n'en parle même pas tout le monde le sait.

avatar Sgt. Pepper | 

@ce78

???

Pour ton exemple , le problème est sans doute de l'autre côté ?
cette personne a partagé ton appel avec Facebook ?

avatar LeGrosJeanLou | 

@ce78

"Facebook a donc eu accès à mes appels téléphoniques (soi dit en passant : pourquoi Apple laisse faire ça ?)"

Ce n'est pas Apple qui laisse faire ça. Il suffit que n'importe qui qui a ton numéro dans ses contacts partage son carnet avec un tiers pour que ton numéro se retrouve sur son carnet. C'est des données croisées. C'est pour ça que c'est de plus en plus compliqué de protéger ses données.

Pour en revenir à Facebook, c'est leur modèle économique malheureusement...

avatar Patacrepe | 

J'utilise Siri pout des choses basiques, c'est sympa. Réveil, rappels, Lancer une musique , prise de rdv dans Calendrier , etc.
Mais je trouve qu'en ce moment, c'est effectivement la cata.
J'ai l'impression qu'il redevient de plus en plus con.
A la question "Est-ce que j'ai des rendez-vous prévus demain ?", Il me réponds " J'ai n'ai pas trouvé d'événement "Prévus" demain.
Voilà.

avatar Malum | 

Et est-ce que j'ai des rendez-vous demain ? fonctionne ? Car le prévus est totalement inutile.
Je viens d'essayer et ça marche parfaitement. De fait le terme prévu crée de la confusion et c'est logique. Il faut une analyse sémantique pour faire la distinction. Avant d'accuser Siri, être simple n'est pas un défaut.

avatar DouceProp | 

Y a t-il des développeurs ou experts en sécurité qui ont vérifié que l'utilisation de « données anonymes » par Apple est vraie ? Ne croyez vous pas que ce n'est qu'un argument marketing ?

avatar Sgt. Pepper | 

@DouceProp'

???

Donc Apple n'arrive pas à garder les nouveautés IPhone x, Apple TV 4K,.... secrètes

Mais Apple arriverait à garder totalement secret la revente des datas utilisateurs à des agences de marketing / pub ....

➡️➡️➡️➡️➡️⬅️⬅️⬅️
https://www.apple.com/fr/privacy/

Le seul produit de Google et Facebook c'est toi.?

Apple propose un autre écosystème mais difficile à tenir quand la plupart des gens n'ont pas conscience de ce que la gratuité d'un OS Android ou d'un réseau social implique

Par exemple :

http://www.lemonde.fr/pixels/article/2017/09/11/donnees-personnelles-facebook-condamne-en-espagne_5184060_4408996.html

avatar LeGrosJeanLou | 

@DouceProp'

Apple a expliqué comment elle procédait pour faire de l'analyse de données sans en mettre en danger la confidentialité. Il me semble qu'elle appelle ça la confidentialité différentielle. C'est un outil mathématiques qui permet d'ajouter du bruit à des données pour les rendre inutilisables individuellement mais toujours pertinentes dans l'analyse de groupes.

Mais je rejoins Sgt. Pepper sur son idée.

Apple est l'entreprise qui en fait le plus (au sens propre comme au figuré) pour la protection des données personnelles. Si on apprenait aujourd'hui qu'elle a menti depuis le départ et qu'elle exploite ces données ce serait un cataclysme pour son image de marque. Peut-être qu'en France on est à l'aise avec le mensonge (faut voir les présidents qu'on a eu ^-^) mais aux States c'est pas la même limonade. Donc tu penses bien que s'il y avait la moindre preuve qu'Apple ment, cette information pourrait rapporter un paquet de pognon à celui qui mettrait la main dessus (et combien Google ou Samsung seraient près à payer d'après toi pour voir Apple s'écrouler ?)

Donc je crois vraiment que pour un truc aussi énorme que la protection des données utilisateur Apple ne se risquerait pas à mentir. Et puis si elle vendait ses données ce serait sans le moindre doute pour un paquet de pognon (je rappelle qu'elle fait déjà 95% des profits de l'industrie hardware aujourd'hui), pognon qui serait visible dans sa comptabilité et celle de ses clients.

avatar fte | 

@LeGrosJeanLou

"pognon qui serait visible dans sa comptabilité"

Tu n’as aucune idée des montages fiscaux légaux de la Pomme et autres multi-nationales, ni de la compta de base on dirait. Il suffit de sociétés écran, de consolidation comptable « succursales », voire simplement d’un compte au libellé flou tel que services divers ou produits divers dans les activités secondaires voire annexes. Genre les chiffres de la montre par exemple, bien planqués.

avatar LeGrosJeanLou | 

@fte

Certes, la comptabilité c'est pas mon rayon.

Mais je persiste à penser que quand on fait 95% des profits d'une industrie en n'en détenant que 10% des clients on ne s'amuse pas à risquer de tout perdre sur un coup de bluff.

avatar armandgz123 | 

Sir chez moi est une catastrophe, j'ai beau essayé. Ça rate une fois sur 4, soit beaucoup trop pour être utilisable au quotidien. En plus mon iPhone 6 ralentit ce qui rend sont utilisation encore moins agréable...

CONNEXION UTILISATEUR