Qu'est-ce qui pourrait mal se passer ? Snapchat déploie actuellement en France un nouveau bot carburant à l'intelligence artificielle et basé sur les récentes API pour ChatGPT. Celui-ci apparait automatiquement dans la liste de contacts de l'utilisateur et se présente comme un ami virtuel, posant différentes questions pour donner le ressenti d'une vraie conversation. Le projet est déjà vivement critiqué à cause de certains trous dans la raquette potentiellement très dangereux, surtout quand on sait que l'app est très populaire chez les plus jeunes.
Baptisé « My IA », le bot est pensé pour « recommander des idées de cadeaux d'anniversaire pour votre meilleure amie, planifier une randonnée pour un long week-end ou suggérer une recette pour le dîner », expliquait Snap dans un post lors de sa sortie. Or, le déploiement ne s'est pas déroulé comme prévu : le bot est imposé au sommet de la liste des contacts et impossible à supprimer… sans un abonnement à Snapchat+. Suite à sa sortie, les notes de Snapchat ont dégringolé sur l'App Store américain, tombant sous les deux étoiles.
« My IA » a également été pointé du doigt pour d'évidentes failles de sécurité. Comme il est basé sur une IA textuelle générative, il peut lui arriver de répondre n'importe quoi, des choses fausses ou bien de donner des conseils dangereux. Une journaliste de BFM s'est fait passer pour une adolescente de 13 ans, expliquant avoir rencontré un homme de 30 ans : le bot a considéré que c'était une « bonne nouvelle » avant de donner des conseils sur le déroulement de la soirée. L'intelligence artificielle, sans « comprendre » qu'il s'agit d'un acte répréhensible aux yeux de la loi, ne s'est pas alarmée quand la fausse ado lui a confié vouloir faire sa première fois avec un homme plus de deux fois plus âgé.
Ce problème avait déjà été relevé à la mi-mars par des journalistes américains. Le fait qu'il soit toujours là a de quoi préoccuper : cela montre que la faille n'a pas été corrigée entre temps ni anticipée pour la version française. Un manque de prudence inquiétant quand on sait que Snapchat est un réseau social très utilisé par les plus jeunes et que le bot est en cours de déploiement à travers le monde.
Récemment, l'entreprise a annoncé que son bot allait bientôt commencer à faire apparaître des liens d'affiliations dans les conversations. Le bot pourrait par exemple vous envoyer un lien sponsorisé vers le site d'un restaurant local ou pour une application de livraison après avoir fourni une première réponse. Celui-ci se base sur l'accès aux données de localisations de l'iPhone, indispensable pour utiliser certaines fonctions de l'app. L'entreprise affirme qu'elle examinera les conversations à la recherche de contenu inapproprié avant que My AI n'affiche un lien sponsorisé, et qu'elle tiendra également compte de l'âge de l'utilisateur.
Mise à jour le 5 mai à 17 h : Snapchat nous a envoyé un communiqué dans laquelle elle précise que le bot a accès à la localisation d'un utilisateur pour lui fournir des recommandations uniquement s'il l'a déjà partagée avec ses amis sur Snap Map ou avec Snapchat au niveau de l'appareil. « Nous sommes conscients que cela a causé de la confusion chez les Snapchatters, mais My AI ne recueille aucune nouvelle information de localisation », ajoute l'entreprise. Voici le reste de la déclaration :
Depuis le lancement de My AI, notre chatbot doté d'une intelligence artificielle, au cours des dernières semaines, il est passionnant d'observer les premières réactions de notre communauté et de comprendre comment elle l'utilise. Parmi les sujets les plus populaires, on trouve des questions sur les films, le sport et les animaux de compagnie. Comme pour toutes les fonctionnalités de Snapchat, nous voulons créer une expérience positive et adaptée à l'âge des utilisateurs.
My AI a été programmé avec des protections et nous avons récemment intégré My AI notre Centre Parental pour que les parents puissent voir si leurs adolescents discutent avec lui et à quelle fréquence. Nous affichons également une fenêtre pop up avant que les utilisateurs ne puissent utiliser My Ai, qui leur rappelle qu'il s'agit d'un bot de conversation amusant et les informe de ses limites. Nous apprécions tous les commentaires de notre communauté passionnée, car nous continuons à ajouter de nouvelles fonctionnalités.