L’élève Siri en net progrès
Chaque année, l’analyste Gene Munster de Loup Ventures fait passer un examen complet aux principaux assistants vocaux. Au total, plus de 800 questions ont été posées à Amazon Echo (Alexa), HomePod (Siri), Google Home (Google Assistant) et Harmon Kardon Invoke (Cortana). On précisera, car cela a son importance, que les questions ont été posées en anglais. Mais comme souvent avec ce genre de produits, les progrès constatés un jour en anglais devraient se matérialiser tôt ou tard dans d’autres langues.
Dans son test de QI, Gene Munster sépare la compréhension de la requête à la réponse donnée à celle-ci. Premier constat : les assistants à défaut d’être toujours très intelligents, comprennent quasiment toujours ce que vous leur dites. Alexa a un taux de compréhension de 99 % alors que Google Assistant atteint la perfection avec un joli 100 %. Siri, avec 99,6 % et Cortana avec 99,4 %, sont également toutes proches de la perfection.
Comprendre est une chose, répondre efficacement en est une autre. Google Assistant est toujours le meilleur élève de cette petite classe avec un taux de réussite de 87,9 % en hausse de quasiment 7 points en un an. Mais l’élève qui a fait le plus de progrès, c’est le duo HomePod/Siri qui est désormais capable de répondre correctement à 74,6 % des questions qui lui sont posées. C’est une hausse de quasiment 20 points par rapport à son dernier test qui date de février, date où il a été commercialisé. Si l’intelligence artificielle a incontestablement fait des progrès pendant cette période, cette hausse est aussi liée au fait qu’Apple lui a ouvert de nouveaux champs de compétence entre temps. Reste que Siri devance Alexa (72,5 %). Cortana ferme la marche avec un médiocre 63,4 %.
Les 800 questions sont réparties en cinq domaines :
- Informations locales - où est le café le plus proche ?
- Commerce - peux-tu m’acheter du papier toilette ?
- Navigation - comment vais-je en ville en bus ?
- Information - les questions relatives aux actualités
- Commande - quand il s’agit de donner des instructions à son assistant.
SI l’on regarde catégorie par catégorie, les résultats sont excessivement intéressants. Ils illustrent parfaitement les forces et faiblesses de chacun et on a parfois de belles surprises.
Google Assistant arrive en tête dans quatre des cinq catégories. La principale surprise vient sans doute du fait qu’il est très nettement devant Alexa dans la partie commerce. Avec 86 % de réponses positives, l’IA de Google devance largement celle d’Amazon (52 %) qui est même distancée par Siri (56 %). Gene Munster insiste sur le fait que Google Assistant donne beaucoup plus de détails sur ce type de questions et est plus ouvert qu’Alexa qui ne cherche qu’une chose au final : vous faire commander sur Amazon !
Les résultats de Siri sont intéressants à analyser : d’une certaine manière, ça passe ou ça casse pour l’assistant d’Apple. Il affiche de très bons résultats dans les catégories Informations locales, navigation et Commande où il devance assez nettement la concurrence. Mais ce n’est pas étonnant en soi, à la base, c’est sur ce genre de capacités qu’Apple l’a toujours poussé.
A l’inverse, il n’affiche qu’un intérêt modéré pour l’actualité et le shopping. Siri a six mois pour bosser ses points faibles. Le prochain bulletin est attendu pour l’été 2019 !
Mais pour lui demander une chanson avec un titre en anglais, c’est catastrophique. Il essaie de comprendre en phonétique et traduit par une phrase qui ne veut rien dire.
@malos
Mon iPhone est en anglais/siri est en anglais donc je n'ai pas ce problème. L'assistant de google est plus performant pour les chansons et nom d'acteur.
@malcolmZ07
Bah forcément, si Siri est configuré en anglais, heureusement qu’il comprend l’anglais...
@armandgz123
Relis la phrase ?
@nemrod
J’ai relis, mais apparement c’est moi qui ne comprends pas, pas grave, passons
@armandgz123
Et t’as vit le dernier film et entendit le dernier album ? ?
@iDanny
J’ai relu ?
@armandgz123
L'iPhone peut être configurer indépendamment de la langue de siri ... iPhone en Français , Siri en anglais.
@malcolmZ07
Oui voilà, mais si Siri est configuré en anglais, il ne comprends rien au français !
@malos
J’ai testé la méthode de MalcomZ et en effet c’est indéniable que les titres ou morceaux en anglais sont beaucoup plus facilement reconnu (même avec mon accent franchouillard!! ?) mais il faut quand même reconnaître que SIRI se demerde beaucoup mieux avec les mots anglais depuis quelques temps (même configurer en français)
Par contre le trucs que jai jamais vraiment compris, c’est la différence qu’il peut y avoir d’un appareil à l’autre.
Sur mon XR... il pige « assez bien » les mots anglais dès lors que j’articule bien (alors peut être que le machine learning y est pour quelque chose et qu’ils a finis par enregistrer les artistes que je lui demande fréquemment !) mais par contre sur mon Apple TV 4K, SIRI est vraiment bon avec les mots anglais ... suffit de lui dire un acteur américain ou un film américain et j’ai pas souvenir qu’il se soit souvent planté dans la reconnaissance.
Du coup je pige pas trop pourquoi il y a une différence pareil entre 2 appareils, je pensais naïvement que c’était la même techno et les mêmes algos qui étaient utilisé (je ne pense pas que ce soit juste une histoire de micro qui soit meilleur sur la Siri remote plutôt que sur mon XR)
@romainB84
Je me demande toujours pourquoi Apple a des Siri différent selon les appareils Apple Watch / homepod / iPhone / Mac / Apple TV
@malcolmZ07
Bah pareil ... je comprend assez bien qu’avec le temps les devices puissent avoir de meilleurs composants pour traiter les infos (le NPU de l’A12 ou des meilleurs micro doivent forcément aider par rapport à un iPhone 5S ou une Apple Watch et ses processeurs bien moins puissant)
Mais sur des produits à generations équivalentes on peut avoir des résultats vraiment différents (comme mon exemple de l’A10X de l’Apple TV VS l’A12 du XR)
@malcolmZ07
Pour optimiser la reconnaissance vocale en fonction des usages de chaque device.
Il y a plus de chance que Jackson soit un artiste lorsque c’est reconnu sur HomePod, un acteur lorsque c’est sur Apple TV et un de tes contact sur iPhone.
@Brice21
Je viens de faire le test sur mon iPhone 6 tout en anglais
- il lance bien de la musique de michael Jackson
- il me montre des films de Samuel L Jackson
- il envoie bien un message au Jackson de mes contactes.
C'est pas trop mauvais
@romainB84
Le Siri de l’Apple TV a été optimisé spécifiquement pour reconnaître les noms des personnalités du cinéma et les titres, d’où sa meilleure compréhension.
Mais je suis d’accord sur le fond : c’est dommage de ne pas mettre tous les Siri au même niveau.
@minipapy
Bah ouais surtout que les dernier iPhones sont sorti après !
Ils auraient pu intégrer les meme techno !
Les résultats de ce test se reflètent aussi en Français. A la maison j’utilise Cortana sur Windows 10, Google Assistant sur un Home Mini et Siri sur iPhone/Watch/TV. Google est incontestablement plus intelligent, Cortana est plus souvent à la ramasse quatre chose, et Siri satisfaisant.
« hey Cortana, ouvre moi FIFA 19. -Okay je lance FIFA 19 »
Et le bidule m’ouvre au final une recherche sur Edge
@hackroman
C’est le seul moyen que Microsoft ait trouvé pour que quelqu’un utilise Edge.
@hackroman
Mdr pour fifa ?
mais si vous pouvez faire le test avec le HomePod ça serait encore mieux Siri est plus puissant sur ce périphérique
J’ai beaucoup apprécier les traductions de Siri lors d’un voyage en Italie. Très pratique
C’est vrai que pour mettre un minuteur il me comprend même avec le nez enrhumé
Je suis parfaitement satisfait du Google Home, je l’utilise bien plus souvent sur Siri.
L’action commandée par ‘Dis Siri’ est par ailleurs très rarement fonctionnelle chez moi. iPad et iPhone
Oserais-je dire qu’il devient ... flexible ?
Pareil alors que Google comprend quand je parle Français ET anglais, Siri est complètement à la ramasse quand on est dans 2 langues. C’est une faiblesse majeure pour l’assistant d’Apple ..
Pour moi le pb principal est comme bcp de choses chez Apple son manque d'ouverture : c'est incroyable le nombre de choses que je peux piloter chez moi via Google assistant, et incroyable le nombre de radios dispos et d'algorithmes proposés ou à construire
Je trouve Siri hyper naze il n’est vraiment pas a la hauteur sur homePod !
Très déçu !!
Ce test est aux usa, qu’en est il de la France?
Siri est désactivé depuis toujours chez moi. Ca sert vraiment à quelque chose ce truc ?
appeler mama non plus comprends pas ?
Je trouve que l’assistant de Google a une large avance sur Siri. Il est étonnamment fort et rapide pour trouver des lieux qui contiennent des subtilités dans leurs noms, par exemple un restaurant qui s’appelle avec un jeu de mot "Le Div’1", Google va comprendre et corriger en moins d’une secondes "Divin" par "Div’1". Il semble comprendre qu’il y a un restaurant pas loin qui contient le jeu de mot. De ce fait j’utilise énormément Google Assistant dans les applications Google de mon iPhone. Mais je finis par fuir Siri... dommage
@chupastar
Essaie avec Siri :
C’est divin de te lire…
Siri semble très bien marché sur mon vieil iPhone
J'utilise je le reconnais surtout Siri pour les dictées automatiques (sms ou trucs du même genre) et je trouve qu'en Français, il me semble moins bon qu'il y a quelques mois. Il commet plus d'erreurs qui donnent parfois un ton assez humoristique à mes messages si je ne relis pas avant.
Je suis utilisateur du duo HomePod / Siri et effectivement je trouve que beaucoup de progrès ont été fait depuis quelques temps. Certes, on est loin de la perfection mais tout doucement ça avance !
En ajoutant à ce duo Apple Music, je ne regrette pas mon choix...même si certains noms de groupes restent un mystère pour Siri. Difficile de lui demander de jouer le dernier album de Kvelertak.... (rien que pour l’écrire correctement je m’y suis pris à trois fois...??).
Mouais Siri reste une grosse merde qui bugge pour mettre un minuteur de 10 minutes (9 ça passe, 11 aussi mais 10 il n'arrive pas il met 00:00) et qui n'est pas capable de lancer un titre sur Spotify. Alexa est bien plus évoluée, et sait lancer 2 minuteurs en même temps pour commencer...
@Mageekmomo
Étonnant , je n'ai pas ce problème de minuterie. Les nombres sont bien reconnu.
@Mageekmomo
"Alexa est bien plus évoluée"
Alexa ?
Si vous voulez tuer vos parents adoptifs, peut-être.
https://www.reuters.com/article/us-amazon-com-alexa-insight/kill-your-foster-parents-amazons-alexa-talks-murder-sex-in-ai-experiment-idUSKCN1OK1AJ?feedType=RSS&feedName=topNews
@occam
‘Si vous voulez tuer vos parents adoptifs, peut-être.
https://www.reuters.com/article/us-amazon-com-alexa-insight/kill-your-foster-parents-amazons-alexa-talks-murder-sex-in-ai-experiment-idUSKCN1OK1AJ?feedType=RSS&feedName=topNews’ »
Excellent moment ;)
Et toujours la même origine imparable : l’absence d’émotion algorithmique qui vient contextualiser le discours. On peut lisser le truc à coup de stats et de probabilité, mais ce genre de choses reproduira nécessairement.
Le cas Phineas Gage, encore et toujours.
Ou votre père biologique ? Ah non, il est déjà mort. ;)
Quelqu’un saurait comment faire pour demander à Siri de reprendre la lecture d’un livre audio sur l’app officielle Apple ?
Un fait a noter avec Siri c’est qu’il faut l’utiliser beaucoup et persévérer même si des fois il ne comprends pas car Siri apprends de nos requêtes .
Sur iPhone lorsqu’il me comprends pas on peut modifier ce qu’il a compris à l’écran ce qui va le faire apprendre encore plus vite et il deviendra meilleur.
Souvent les gens ne l’utilise jamais , font une tentative et voient que ça ne marche pas et ne l’utilise plus. Ce qui est l’erreur à ne pas faire .
« Commerce - peux-tu m’acheter du papier toilette ? »
J’en reviens pas qu’il soit autorisé de commander du pq sur Amazon. On devrait mètre une taxe environnementale de 5€ pour des trucs aussi débiles.
@jean_claude_duss
Je peux faire des virements directement depuis Siri , c'est vraiment pratique.
Je suis peut-être le seul, mais Siri ne comprends rien. Sauf peut-être « envoie un SMS à ... » et la c’est la catastrophe car il ne trouve jamais mes destinataires
J’utilise Siri tout les jours en particulier sur HomePod.
Il est bien plus efficace, qu’Alexa que j’avais avant, pour la domotique.
Alors certes il n’a pas une grande culture, ne fais pas de jeux comme sur Google home. Mais pour tout ce qui est domotique, passer des appels, répondre au sms, faire des rappels (une utilisation de tout les jours en sommes) je le trouve super efficace
Après avoir lu l'article j'ai testé Siri, avec une question de culture générale.
"Qui a gagné les élections présidentielles américaines en 1752 ?"
C'est une question piège, sachant que la révolution américaine a commencé en 1765.
Réponse : "1752 est une année bissextile commençant un samedi".
L'élève Siri est bon pour le redoublement ..
Excellente chose de voir que Siri s'améliore ! Il est incontestable que la concurrence de Google et d'Amazon a re-dynamisé un secteur où de nombreux progrès étaient à faire (et le sont encore).
Personnellement je me réjouis que Siri, le seul assistant électronique que j'utilise (très rarement) à l'heure actuelle soit plus à l'aise avec le mélange français-anglais. :-)
Google Home est vraiment très puissant sur la gestion multilingue. Je lui ai dit de comprendre/parler Français et Anglais et il le fait très bien.
Parfois même avec l’accent utilisé pour dire simplement « Ok Google » il comprend si je compte lui parler Fr ou En.
Siri n’a pas cette capacité.
Ce que je trouve également dommage c’est la phrase d’accroche de Siri en Français: « Dis Siri » c’est trop plat et pas naturel. Il croit être appelé plusieurs fois sans que ce soit ce qu’on voulait dire.
Google a moins ce problème...
Bref très content de Google même si j’ai fait une croix sur ma vie privée (que j’avais d’ailleurs déjà fait il y a 15ans quand j’ai commencé à utiliser Google en tant que moteur de recherche/boîte mail).
Pour qu’Apple s’améliore il leur faut un HomePod accessible financièrement. Quand Google et Alexa sont à 30€ c’est compliqué de concurrencer avec un produit 10x plus cher.
Pour info. j'ai basculé mon Siri en Québécois. Résultat, il comprend parfaitement le français ET l'anglais !