Chaque année, l’analyste Gene Munster de Loup Ventures fait passer un examen complet aux principaux assistants vocaux. Au total, plus de 800 questions ont été posées à Amazon Echo (Alexa), HomePod (Siri), Google Home (Google Assistant) et Harmon Kardon Invoke (Cortana). On précisera, car cela a son importance, que les questions ont été posées en anglais. Mais comme souvent avec ce genre de produits, les progrès constatés un jour en anglais devraient se matérialiser tôt ou tard dans d’autres langues.
Dans son test de QI, Gene Munster sépare la compréhension de la requête à la réponse donnée à celle-ci. Premier constat : les assistants à défaut d’être toujours très intelligents, comprennent quasiment toujours ce que vous leur dites. Alexa a un taux de compréhension de 99 % alors que Google Assistant atteint la perfection avec un joli 100 %. Siri, avec 99,6 % et Cortana avec 99,4 %, sont également toutes proches de la perfection.
Comprendre est une chose, répondre efficacement en est une autre. Google Assistant est toujours le meilleur élève de cette petite classe avec un taux de réussite de 87,9 % en hausse de quasiment 7 points en un an. Mais l’élève qui a fait le plus de progrès, c’est le duo HomePod/Siri qui est désormais capable de répondre correctement à 74,6 % des questions qui lui sont posées. C’est une hausse de quasiment 20 points par rapport à son dernier test qui date de février, date où il a été commercialisé. Si l’intelligence artificielle a incontestablement fait des progrès pendant cette période, cette hausse est aussi liée au fait qu’Apple lui a ouvert de nouveaux champs de compétence entre temps. Reste que Siri devance Alexa (72,5 %). Cortana ferme la marche avec un médiocre 63,4 %.
Les 800 questions sont réparties en cinq domaines :
- Informations locales - où est le café le plus proche ?
- Commerce - peux-tu m’acheter du papier toilette ?
- Navigation - comment vais-je en ville en bus ?
- Information - les questions relatives aux actualités
- Commande - quand il s’agit de donner des instructions à son assistant.
SI l’on regarde catégorie par catégorie, les résultats sont excessivement intéressants. Ils illustrent parfaitement les forces et faiblesses de chacun et on a parfois de belles surprises.
Google Assistant arrive en tête dans quatre des cinq catégories. La principale surprise vient sans doute du fait qu’il est très nettement devant Alexa dans la partie commerce. Avec 86 % de réponses positives, l’IA de Google devance largement celle d’Amazon (52 %) qui est même distancée par Siri (56 %). Gene Munster insiste sur le fait que Google Assistant donne beaucoup plus de détails sur ce type de questions et est plus ouvert qu’Alexa qui ne cherche qu’une chose au final : vous faire commander sur Amazon !
Les résultats de Siri sont intéressants à analyser : d’une certaine manière, ça passe ou ça casse pour l’assistant d’Apple. Il affiche de très bons résultats dans les catégories Informations locales, navigation et Commande où il devance assez nettement la concurrence. Mais ce n’est pas étonnant en soi, à la base, c’est sur ce genre de capacités qu’Apple l’a toujours poussé.
A l’inverse, il n’affiche qu’un intérêt modéré pour l’actualité et le shopping. Siri a six mois pour bosser ses points faibles. Le prochain bulletin est attendu pour l’été 2019 !
