Amazon explique comment Alexa a enregistré et envoyé une conversation à l'insu de ses utilisateurs

Florian Innocente |

Amazon a donné des explications sur les étapes qui ont conduit l'une de ses enceintes Echo à enregistrer une conversation au sein d'une famille puis à l'expédier à l'une de leurs connaissances. Cela s'est produit aux États-Unis il y a une quinzaine de jours.

Amazon Echo et Echo Dot (les petites)

Dans une déclaration à Recode, Amazon détaille :

Echo s'est réveillée en raison d'un mot, dans une conversation de fond, qui ressemblait à "Alexa". La conversation qui a suivi a été comprise comme une demande "d'envoi de message". À ce moment-là, Alexa a dit à haute voix « À qui ? »

À partir de là, les propos en arrière-plan ont été interprétés comme un nom dans la liste de contacts des clients. Alexa a alors demandé à haute voix, "[nom du contact], n'est-ce pas ?" Alexa a ensuite interprété la conversation de fond comme "exact". Aussi improbable que soit cette série d'événements, nous évaluons des options pour rendre cette éventualité encore moins probable.

La personne dans le carnet d'adresses, un employé du mari de la famille, avait reçu un fichier audio avec la portion enregistrée de cette conversation. « Vous étiez en train de parler de plancher en bois massif » a-t-il raconté à son patron pour lui montrer qu'il ne plaisantait pas.

Les réglages d'Alexa permettent de bloquer certaines fonctions qui pourraient être utilisées de manière intempestive. On peut empêcher la commande d'articles sur Amazon qui, autrement, peuvent se faire en un clin d'œil dès lors qu'on a activé les achats 1-Click sur le site (on peut aussi définir un code oral de confirmation comme sécurité).

Les options pour encadrer ou désactiver la fonction d'achats 1-Click sur Amazon par la voix

La version américaine d'Alexa propose aussi l'envoi de messages dictés, comme ce qui s'est passé ici. C'est également une option à activer mais pour la supprimer ensuite il n'y a pas d'autre moyen à ce jour que… de téléphoner au support technique d'Amazon. Mais à tout désactiver de peur que l'enceinte ne fasse du zèle, l'intérêt de celle-ci va forcément s'éroder.

Amazon doit lancer cette année en France ses enceintes Echo avec Alexa (toutes les pages d'aide sont traduites). Des employés et clients d'Amazon testent le produit dans l'Hexagone depuis la fin de l'année dernière. Sonos fait de même depuis quelques semaines avec un bêta-test de la version française d'Alexa sur ses Sonos One.

Mi-avril Le Figaro s'avançait sur une commercialisation des Echo pour le 23 mai, événement qui ne s'est finalement pas produit.

Tags
avatar reborn | 

Echo s'est réveillée en raison d'un mot, dans une conversation de fond, qui ressemblait à "Alexa"

C’est sur que lui donner un prénom "humain" ça n’arrange pas les choses. Il faut un nom peu commun pour éviter ce genre de soucis.

avatar stefhan | 

@reborn

Comme « ok google » qui remet la machine à sa place, sa fonction...

avatar C1rc3@0rc | 

@reborn

«C’est sur que lui donner un prénom "humain" ça n’arrange pas les choses. Il faut un nom peu commun pour éviter ce genre de soucis.»

Avec Frénégonde ou Aðalsteinunn ça poserait moins de problemes?

La probleme c'est d'une part de ne pas avoir de nom personnalisé et en second il faut un "interrupteur" explicite permettant le lancer la requete. Le fait que l'appareil soit a l’écoute en permanence pose inévitablement un ensemble de problèmes dont de sécurité.

Apres, la question de la pertinence d'un assistant domestique se pose pleinement. Si Amazon et Google essayent d'en truffer les habitations, c'est pas pour améliorer la vie des utilisateurs et s'ils les "offrent" massivement c'est bien parce qu'il n'y a pas de demande...

avatar reborn | 

@C1rc3@0rc

"Avec Frénégonde ou Aðalsteinunn ça poserait moins de problemes?"

Je veux dire par là, qu’avec un nom comme "Alexa" il a plus de chance de le croiser dans une conversation que "ok google"

avatar spece92 | 

C’est bien Alexa et c’est nul Siri. C’est bien cela ? 🤣

avatar anonx | 

@spece92

Bah disons que l'un existe... l'autre euh... 🤷🏻‍♂️tu payes la marque quoi 😂

avatar pagaupa | 

@anonx

+1 😜

avatar machin44 | 

@spece92

Non, Alexa c’est juste son prénom.

avatar r e m y | 

@machin44

Je croyais qu'elle s'appelait Alexa?
T'es sûr que ce soit Juste son prénom? 🤔

avatar machin44 | 

@r e m y

Visiblement c’est Juste Alexa son nom.

avatar r e m y | 

@machin44

Et toi c'est Machin, c'est Juste?

avatar machin44 | 

@r e m y

C’est ça c’est juste.

avatar 0lf | 

@machin44
Et bien Alexa c’est pareil, c’est Juste.

avatar C1rc3@0rc | 

@r e m y

«T'es sûr que ce soit Juste son prénom?»

Ben en fait tout depend de qui est l'invité au diner... pour l'instant il semblerait que ce soit Siri.

avatar frankm | 

@spece92

Alexa c'est une salope mais Siri est un con

avatar webHAL1 | 

Okay, donc, comme je l'ai écrit dans l'autre sujet consacré à cette affaire, ça revient plus ou moins au même qu'un assistant qui viendrait toquer à la porte de son chef, lui pose des questions, et interprète les réponses en fonction de ce qu'il entend, sachant que la personne de l'autre côté de la porte discute peut-être au téléphone et que ses réponses ne sont pas du tout destiné à son assistant.
Je pense qu'Amazon pourrait assez facilement faire en sorte que, pour des actions sensibles, Alexa demande une confirmation de type :
« Veuillez confirmer l'action en disant "Alexa, envoie le contenu de la discussion à Jean Dubois" pour que je l'effectue. »

Pas mal de bruit pour rien, au final...

avatar reborn | 

@webHAL1

Oui mais l’intention de l’utilisateur a complètement était ignoré. C’est ça le problème

avatar webHAL1 | 

@reborn
« Oui mais l’intention de l’utilisateur a complètement était ignoré. C’est ça le problème. »

Mais comment une machine (ou un être humain, d'ailleurs) pourrait connaître L'INTENTION de l'utilisateur ?! 😳

avatar reborn | 

Bah oui et c’est le problème, du coup on se retrouve avec une machine qui a envoyé une conversation qui n’aurais pas du être envoyé. La machine est à l’origine d’une mauvaise experience. Et il y a des travaux effectué en ce sens pour ameliorer la prise en compte de l’intention dans ce genre de système

avatar webHAL1 | 

@reborn

Oui oui, je suis d'accord que c'est regrettable qu'une conversation qui n'aurait pas dû être envoyée l'ait été, mais ce qui me semble important ici c'est qu'il n'y a pas eu de dysfonctionnement de la part de l'enceinte connectée. Elle a agi comme attendu, le souci provenant d'une série malheureuse de mauvaises interprétations de ce qu'elle entendait.
Ce n'est pas pareil que ce que certains articles laissaient entendre, comme quoi l'enceinte aurait décidé d'elle-même d'enregistrer une conversation et de l'envoyer à quelqu'un.

avatar marc_os | 

@ webHAL1
Ah bon, ce n'est pas l'enceinte (ou les algorithmes IA ou mieux encore embarqués) qui a pris la décision d'enregistrer le message et de l'envoyer ?
C'est qui alors ?

avatar webHAL1 | 

@marc_os
« Ah bon, ce n'est pas l'enceinte (ou les algorithmes IA ou mieux encore embarqués) qui a pris la décision d'enregistrer le message et de l'envoyer ? C'est qui alors ? »

Je ne pense pas qu'il soit exact de parler de "prise de décision". Dans le situation présente, Alexa a mal interprété une série de mots. Cela a conduit à l'enregistrement et l'envoi d'une conversation.
Mais le souci se situe au niveau de la reconnaissance vocale, pas au niveau de "l'intelligence"'d'Alexa.

avatar Bigdidou | 

@webHAL1

"'il n'y a pas eu de dysfonctionnement de la part de l'enceinte connectée. "

Ben si.
D'après ce que je lis, Alexa n'a jamais été réellement prononcé, de même qu'aucun des autres noms et commandes.
Elle a "cru" les entendre, si c'est pas un dysfonctionnement..

avatar webHAL1 | 

@Bigdidou
« D'après ce que je lis, Alexa n'a jamais été réellement prononcé, de même qu'aucun des autres noms et commandes.
Elle a "cru" les entendre, si c'est pas un dysfonctionnement.. »

La partie reconnaissance vocale n'est pas parfaite, et ne le sera peut-être jamais. Tout comme un humain peut tout à fait interpréter de manière incorrecte quelque chose qu'il/elle entend. Si je te dis "un verre d'acide en ébullition, c'est quelque chose à voir !"'et que tu comprends "à boire", pourras-tu te retourner contre moi suite aux désagréments que tu auras subis ?
Je ne dis en aucun cas qu'Amazon ne doit pas améliorer la reconnaissance vocal et mettre en place des garde-fous (j'en ai proposé un ci-dessus), mais les quiproquos existent depuis l'aube du monde entre êtres humains et je pense qu'il faut commencer à envisager le fait qu'on va en avoir avec nos machines. :-)

avatar Bigdidou | 

@webHAL1

"Si je te dis "un verre d'acide en ébullition, c'est quelque chose à voir !"'et que tu comprends "à boire", pourras-tu te retourner contre moi suite aux désagréments que tu auras subis ?"

Sauf que c'est l'inverse qui s'est passé.
Je t'ai demandé à boire, tu as compris de travers et tu m'apporte un verre d'acide en ébullition.
Je peux t'affirmer que, quelle que soit ta bonne foi et ton envie de bien faire, oui, il est très probable que je te fasse des reproches ;)

avatar webHAL1 | 

@Bigdidou
« Sauf que c'est l'inverse qui s'est passé.
Je t'ai demandé à boire, tu as compris de travers et tu m'apporte un verre d'acide en ébullition. »

Pas tout à fait, puisque dans le cas présent rien n'a été demandé à Alexa, mais elle a compris qu'on l'appelait et lui demandait quelque chose. ^_^
Il y a eu un enchaînement de quiproquos, et Amazon devrait clairement travailler pour diminuer la fréquence à laquelle des mauvaises interprétations par Alexa peuvent se produire, mais je pense que ce genre de mésaventures pourront toujours arriver et que ce n'est de loin pas la dernière histoire de ce style que l'on entend !

avatar reborn | 

@webHAL1

« Veuillez confirmer l'action en disant "Alexa, envoie le contenu de la discussion à Jean Dubois" pour que je l'effectue. »

Pas besoin d’aller jusque là, il suffirait d’un "dis Alexa" pour éviter la cascade de problème

Ou la possibilité de personnaliser la commande d’appel de l’assistant.

avatar pat3 | 

@reborn

"Pas besoin d’aller jusque là, il suffirait d’un "dis Alexa" pour éviter la cascade de problème

Ou la possibilité de personnaliser la commande d’appel de l’assistant"

Et de ne pas parler de dislexie du coup, parce qu’Alexa pourrait confondre.

avatar r e m y | 

Y'a intérêt à faire gaffe si tu as une Alexa dans tes connaissances avec laquelle tu aimes batifoler...
Tes incartades risquent d'être balancées à tout ton carnet d'adresse!

Tu vas devenir très populaire en arrivant au bureau lundi matin😂

avatar macinoe | 

Ce qui est étonnant, avec ces assistants vocaux, ce n'est pas qu'ils fassent une connerie de temps en temps, c'est qu'ils n'en fassent pas plus.

Interconnecté à la domotique, c'est un peu flippant quand,même.

avatar cedric_cph | 

Ça promet pour les voitures full autonomes… Madame lance un ‘ Oh oui ! Pierre t’es bon prend mon $%# ‘ et la voiture te répond ‘ voici votre itinéraire d’Aubière à Montcuq. ⚠️ votre Itinéraire comprend des péages, souhaitez-vous les éviter ? ‘ 😂

avatar zoubi2 | 

:-) :-) :-)

avatar C1rc3@0rc | 

«Ça promet pour les voitures full autonomes… Madame lance un ‘ Oh oui ! Pierre t’es bon prend mon $%# ‘ et la voiture te répond ‘ voici votre itinéraire d’Aubière à Montcuq. ⚠️ votre Itinéraire comprend des péages, souhaitez-vous les éviter ? ‘ 😂»

Parce que tu crois que le pilote automatique pondu aux USA sera foutu de gérer le giratoire a feux de Margeride?
C'est a Gland, chez Marie-Thérèse ,que tu vas arriver pas a Montcuq 😂

avatar Bigdidou | 

@cedric_cph

Ce que tu dis, c'est que tous les villes et villages qui ont les sons "bite", "queue", "chatte", "cu", et j'en passe dans leur noms vont pouvoir construire quelques hotels..

avatar cedric_cph | 

Quand tu vois la démo de Google Assistant à leur dernière conférence, capable de tenir tout un dialogue, genre prise de rendez-vous / commande, je me dis que l’AI maîtrise de mieux en mieux le contexte et sait choisir le bon mot qui correspond au contexte. Trop tard pour monter un business autour de Montcuq ;-)

avatar Bigdidou | 

@cedric_cph

Ceci étant, je vois de plus en plus des trucs passer, où on nous parle d'assistants sexuels robotisés.
Ta voiture finira par s'occuper de tout.

avatar cedric_cph | 

Des choses intéressantes ici : https://tinyurl.com/ya4poc3l

avatar Bigdidou | 

@cedric_cph

C'est une tendance lourde en médecine : la sexualité devient de plus en pus une fonction comme une autre, qui se déconnecte de l'intime et du sentiments (pas des émotions, au contraire, je pense).
C'est plus ou moins violent selon les société, mais, par exemple, dans la société israélienne c'est saisissant.

avatar pantone672 | 

Il n’y a là rien de très nouveau, si ? Personne n’a jamais reçu un appel en provenance d’un téléphone rangé dans la poche arrière du jean d’un•e pote ? Même si l’erreur d’Alexa n’a pas exactement la même cause, c’est un peu le même type de dysfonctionnements il me semble...

avatar reborn | 

@pantone672

Alexa a interprété un mot comme étant "Alexa" alors que ce n’était pas le cas. 🤷‍♂️

Ce n’est pas un comportement normal, un peu comme les ultrasons qui déclenche les assistant vocaux.

avatar pantone672 | 

@reborn

Je comprends bien, mais que ce soit l’écran tactile de ton téléphone dans la poche arrière du pantalon qui interprète mal tes mouvements ou un assistant vocal qui interprète mal un mot prononcé à la volée, je ne vois pas bien la différence.
On n’a pas jeté nos téléphones tactiles à la poubelle lorsqu’ils ont eu ce type de comportement bizarre, donc toute cette polémique sur Alexa me semble bizarre.

avatar reborn | 

@pantone672

Le telephone dans la poche subit les pressions du à des mouvements, normal. Les touches sont conçu pour ça, réagir à la pression. Suffit de mieux ranger le telephone.

Là on a une machine qui prend des decisions toute seule, qui envoie une conversation sans qu’on ne lui ai rien demandé juste et qui prend une conversation lambda pour des instructions.

Cette machine ne doit s’activer que lorsqu’elle entend "Alexa". Et "Alexa" n’a pas était exprimé par l’utilisateur ce qui n’a pas empêché son activation. 🤷‍♂️

avatar pantone672 | 

@reborn

Toujours pas d’accord.
Les écrans tactiles devraient savoir différencier un appel de poche d’un appel normal, tout comme les enceintes devraient différencier « Alexia » de « Alexa ».
Dans un cas comme dans l’autre, ce sont des problèmes inhérents à la technologie que les utilisateurs et les concepteurs contribuent à éviter.
La preuve, c’est la première fois qu’on apprend qu’Alexa aurait trahi une conversation privée... mon téléphone l’a déjà fait plusieurs fois.

avatar webHAL1 | 

@pantone672
« On n’a pas jeté nos téléphones tactiles à la poubelle lorsqu’ils ont eu ce type de comportement bizarre, donc toute cette polémique sur Alexa me semble bizarre. »

Tout à fait d'accord.
Pour ce qui est la polémique, je pense qu'elle est créée de toute pièce par certains sites pour générer du clic. Certaines personnes surfent sur la peur que peuvent générer les assistants électroniques.
C'est un peu comme un article qui dirait "Il se fait tuer par son Apple Watch !" et où on apprendrait qu'une personne a vu un individu armé pénétrer chez elle, a essayé de sortir discrètement, s'est fait repérer par sa montre connectée qui s'est allumée suite à un mouvement de son poignet qui n'était pas celui auquel l'accessoire devrait réagir et s'est ensuite faite assassinée.

avatar Malum | 

Ah tiens voilà un fondu de l'écriture exclusive. Celle qui a été un échec retentissant au Canada.

avatar outmen | 

Je pense que cette histoire hallucinante risque d’enrayer sérieusement le développement de cette catégorie de produit. Je comptais en acheter une à sa sortie en France pour faire des tests, car je trouve le concept intéressant. Mais là c’est vraiment trop grave, je vais passer mon tour. Je n’ai d’ailleurs aucune utilité de ce type de produit c’était juste de la curiosité.

avatar niclet | 

Voyons donc, et quelles sont les probabilités pour que cette séquence de « conversation de fond » ait été aussi exacte?

avatar spece92 | 

Les grandes oreilles d’Amazon et de Google vous écoutent, pour un monde où la publicité vous correspond. 🤣

avatar Sgt. Pepper | 

Vive Siri sur l’Apple Watch ✌️

Le seul responsable : l’utilisateur qui installe chez lui ce genre de gadget fait pour l’ESBROUFE

au mépris de la vie privée et des règles élémentaires de protection 😷🤢

avatar pagaupa | 

@Sgt. Pepper

Et sur une watch? Ce n'est pas de l'esbroufe? 😜

Pages

CONNEXION UTILISATEUR