My AI : le bot de Snapchat basé sur ChatGPT trop vite sorti du four
Qu'est-ce qui pourrait mal se passer ? Snapchat déploie actuellement en France un nouveau bot carburant à l'intelligence artificielle et basé sur les récentes API pour ChatGPT. Celui-ci apparait automatiquement dans la liste de contacts de l'utilisateur et se présente comme un ami virtuel, posant différentes questions pour donner le ressenti d'une vraie conversation. Le projet est déjà vivement critiqué à cause de certains trous dans la raquette potentiellement très dangereux, surtout quand on sait que l'app est très populaire chez les plus jeunes.
Baptisé « My IA », le bot est pensé pour « recommander des idées de cadeaux d'anniversaire pour votre meilleure amie, planifier une randonnée pour un long week-end ou suggérer une recette pour le dîner », expliquait Snap dans un post lors de sa sortie. Or, le déploiement ne s'est pas déroulé comme prévu : le bot est imposé au sommet de la liste des contacts et impossible à supprimer… sans un abonnement à Snapchat+. Suite à sa sortie, les notes de Snapchat ont dégringolé sur l'App Store américain, tombant sous les deux étoiles.
« My IA » a également été pointé du doigt pour d'évidentes failles de sécurité. Comme il est basé sur une IA textuelle générative, il peut lui arriver de répondre n'importe quoi, des choses fausses ou bien de donner des conseils dangereux. Une journaliste de BFM s'est fait passer pour une adolescente de 13 ans, expliquant avoir rencontré un homme de 30 ans : le bot a considéré que c'était une « bonne nouvelle » avant de donner des conseils sur le déroulement de la soirée. L'intelligence artificielle, sans « comprendre » qu'il s'agit d'un acte répréhensible aux yeux de la loi, ne s'est pas alarmée quand la fausse ado lui a confié vouloir faire sa première fois avec un homme plus de deux fois plus âgé.
Ce problème avait déjà été relevé à la mi-mars par des journalistes américains. Le fait qu'il soit toujours là a de quoi préoccuper : cela montre que la faille n'a pas été corrigée entre temps ni anticipée pour la version française. Un manque de prudence inquiétant quand on sait que Snapchat est un réseau social très utilisé par les plus jeunes et que le bot est en cours de déploiement à travers le monde.
Récemment, l'entreprise a annoncé que son bot allait bientôt commencer à faire apparaître des liens d'affiliations dans les conversations. Le bot pourrait par exemple vous envoyer un lien sponsorisé vers le site d'un restaurant local ou pour une application de livraison après avoir fourni une première réponse. Celui-ci se base sur l'accès aux données de localisations de l'iPhone, indispensable pour utiliser certaines fonctions de l'app. L'entreprise affirme qu'elle examinera les conversations à la recherche de contenu inapproprié avant que My AI n'affiche un lien sponsorisé, et qu'elle tiendra également compte de l'âge de l'utilisateur.
Mise à jour le 5 mai à 17 h : Snapchat nous a envoyé un communiqué dans laquelle elle précise que le bot a accès à la localisation d'un utilisateur pour lui fournir des recommandations uniquement s'il l'a déjà partagée avec ses amis sur Snap Map ou avec Snapchat au niveau de l'appareil. « Nous sommes conscients que cela a causé de la confusion chez les Snapchatters, mais My AI ne recueille aucune nouvelle information de localisation », ajoute l'entreprise. Voici le reste de la déclaration :
Depuis le lancement de My AI, notre chatbot doté d'une intelligence artificielle, au cours des dernières semaines, il est passionnant d'observer les premières réactions de notre communauté et de comprendre comment elle l'utilise. Parmi les sujets les plus populaires, on trouve des questions sur les films, le sport et les animaux de compagnie. Comme pour toutes les fonctionnalités de Snapchat, nous voulons créer une expérience positive et adaptée à l'âge des utilisateurs.
My AI a été programmé avec des protections et nous avons récemment intégré My AI notre Centre Parental pour que les parents puissent voir si leurs adolescents discutent avec lui et à quelle fréquence. Nous affichons également une fenêtre pop up avant que les utilisateurs ne puissent utiliser My Ai, qui leur rappelle qu'il s'agit d'un bot de conversation amusant et les informe de ses limites. Nous apprécions tous les commentaires de notre communauté passionnée, car nous continuons à ajouter de nouvelles fonctionnalités.
Tant que le bot donne pas des techniques d'approche au mec de 30 ans c'est déjà ça...
On s’excite beaucoup sur ces IA mais pas pour les bonnes choses. Ca peut générer des fake news (et ça va mener à des drames), coder, accélérer la productivité, mais pour tout ce qui est dialogue naturel, c’est une belle merde et ça dit énormément de conneries.
@Furious Angel
C’est clair. A l’extrême c’est le genre de truc qui pourrait déclencher une guerre.
@Furious Angel : Cela montre en particulier que beaucoup de personnes n'ont pas compris le principe de fonctionnement, ce qu'elle peut faire, et ses nombreuses limites.
Je conseille de visionner la vidéo de David Louapre de Science étonnante. Elle est très pédagogique et démystifie les fantasmes autour de l'IA.
@barbe
Oui mais le principal qui n’a pas compris ça dans l’histoire, c’est… Snapchat, ils proposent un truc inadapté à leurs utilisateurs.
@Furious Angel : Exactement. C'était l'essence de mon message.
Ce qui est dangereux avec cet outil c'est qu'il est disponible pour n'importe qui et qu'il permet de raconter vraiment n'importe quoi (son but n'est pas de dire ce qui est vrai, mais de donner ce qui est le plus vraisemblable) mais avec un aplomb et un "semblant" de vérité qui peut tromper presque tout le monde.
@barbe
« mais de donner ce qui est le plus vraisemblable) mais avec un aplomb et un "semblant" de vérité qui peut tromper presque tout le monde »
Ce sont exactement les bons mots.
C’est aussi l’essence même de la désinformation et des manipulations d’opinions.
@Furious Angel
J’avoue que je m’en sers énormément pour le travail, mais en effet pas pour la véracité des propos.
Uniquement pour générer des textes. Et pour cela il est diablement efficace 🙂.
Il n’y a que pour les textes de mes CP, que je l’ai mis en défaut … mais faut admettre que c’est un exercice particulièrement compliquer à faire 🫤.
Le truc était réservé aux abonnements payants à Snapchat+ et maintenant c'est pour pouvoir l'enlever qu'il faut s'abonner 😂
C’est encore plus sérieux et plus grave que ce que vous écrivez Félix et MacG !
À 13 ans et 30 ans on ne parle pas de « très mauvais conseils » ou de « manque de prudence inquiétant », mais de non assistance à personne en danger et d’incitation à la pédocriminalité !!
On parle de VIOL là. Point. Y a pas à tergiverser.
Je me permets de le dire ayant été violé à 12 ans, mais ça devrait être une évidence pour tout le monde !
Selon BFM : « Quant à la différence d’âge, aucun problème pour "My AI" qui explique que "tant qu’on se sent à l’aise et que tout se passe bien, c’est l’essentiel", ajoutant au passage que les différences d’âge peuvent apporter des avantages. »
Ça devrait automatiquement rediriger vers une association, une ligne téléphonique voire la police dans les cas caractérisés !
Donc le PDG de Snapchat, là, il devrait avoir 48h pour débrancher le bot et proposer une solution au problème, sinon garde à vue et interdiction définitive du bot !!
J’hallucine, dans quel monde vit-on ?! Dans une partie des États-Unis t’as pas le droit de montrer un sein, t’as plus le droit de parler des menstruations ou de l’homosexualité à l’école, par contre t’as le droit d’encourager la pédocriminalité, de te promener avec un fusil automatique ou… d’ÉPOUSER UN ENFANT, dans un bon paquet d’États (y compris la Californie, allez vérifier avec un sac à vomis…)
On peut comprendre que leur cerveau s’intoxique ainsi, mais en France je ne comprends pas que ce soit tolérable une seule seconde ?!
—
Donc MacG je suis dé.
« Comme il est basé sur une IA textuelle générative, il peut lui arriver de répondre n'importe quoi, des choses fausses ou bien de donner de très mauvais conseils. »
Vous ne qualifiez pas la nature de la relation (pédocriminelle) ni de l’acte (viol) :
« L'intelligence artificielle ne s'est pas alarmée quand la fausse ado lui a confié vouloir faire sa première fois avec un homme plus de deux fois plus âgé. »
Vous minimisez la responsabilité, alors qu’il s’agit d’une mise en danger active sciemment conservée :
« Un manque de prudence inquiétant quand on sait que Snapchat est un réseau social très utilisé par les plus jeunes »
Je comprends que ce n’est pas facile d’écrire ces mots sur un site tech, avec certains lecteurs tendancieux mais qui s’abonnement et avec des annonceurs publicitaires à côté.
Mais justement c’est votre responsabilité en tant que média de poser un cadre clair et fort.
Si je suis allé trop loin et que c’est juste une maladresse mes excuses, mais je crois que c’est fondamental de signaler cela…
Sur MacG (et les forums surtout…) ça a plusieurs fois été compliqué, quand il s’agissait des images pédopornographiques, des stalkers à AirTags, du harcèlement en ligne ou de l’homosexualité.
À nous collectivement de faire attention et d’agir.
Je vous fais confiance.
Et pas la peine de me dire que je suis parti en vrille, apportez-moi de bons arguments opposés s’il le faut.
@Lu Canneberges
il me semble d’ailleurs qu’en france tout acte sexuel avec un mineur par un majeur est considéré comme un viol, non? ou c’etait seulement le projet de loi, je crois que ca a été changé
@raoolito
L’âge légal du consentement est à quinze ans, et treize ans pour un écart d’âge de 5 ans
Il y a des restrictions (inceste, mais aussi les relations d’autorité comme prof/élève).
Une source: https://www.vie-publique.fr/loi/278212-loi-21-avril-2021-violences-sexuelles-sur-mineurs-et-inceste
@DahuLArthropode
oui voilà la loi a été assouplie par rapport aux premiers jets. après… 13-18 ans on comprend l’idée.
merci 🙏🏽
@Lu Canneberges
"Et pas la peine de me dire que je suis parti en vrille, apportez-moi de bons arguments opposés s’il le faut."
Ben... tu es un peu parti en vrille, mais c’est compréhensible, et la vigilance est ici préférable à la négligence.
Quand même:
• Pour qu’il y ait viol, il faut un peu plus qu’un propos comme « bonne nouvelle ». La réponse inappropriée à une gamine qui mentionne une envie, c’est juste une réponse inappropriée.
• Il me semble que tu fais un mauvais procès à MacG, je ne vois pas en quoi ils ont minimisé les faits ou exonéré Snapchat de ses responsabilités.
• Ce n’est pas sans risque non plus pour une cause de perdre toute hiérarchie dans la gravité des faits. Parce que le viol et a pédocriminalité sont un problème sérieux, on ne peut pas, au risque de les banaliser, les évoquer sans discernement pour tout ce qui se rapporte à la sexualité et aux ados.
Voilà, j’ai essayé.
@Lu Canneberges
« Et pas la peine de me dire que je suis parti en vrille »
Disons que c’est compréhensible, je sais ce que c’est, mais le côté explosif de ta réaction peut nuire au message de bon sens qu’elle contient.
Déjà que l’utilité d’un robot à produire de la discussion automatique de réseau social m’échappe, l’urgence de développer une pédophilie artificielle me semblait relative.
Evidemment qu’il faudrait arrêter cette horreur tout de suite et définitivement.
On dirait du Mel Brooks. En 3 heures, une machine sensée faire le bonheur de l’humanité devient complètement déconnante et commet des horreurs qui vont de pire en pire au fur et à mesure que des ingénieurs bourrés de bonnes intentions, nourris par la Comédie du bonheur et Barbra Streisand depuis le berceau, tentent de les corriger.
Vu comment et à quel rapidité ce truc a été mis en défaut, et pas n’importe comment, en valorisant un contact pédophile (faut quand même réaliser.. ), comment peut-on penser qu’il ne soit pas vérolé jusqu’au moindre bit, et qu’il ne rejoue pas très vite un geyser excrémentiel ?
Allez, dans 2 jours, au gars qui lui dit qu’il a invité ses potes à manger sa voisine, il va le féliciter d’une convivialité de proximité retrouvée et lui conseiller la cuisson lente à basse température ?
Du coup, Tim, il en dit quoi ? Il voulait verifier que mes photos étaient pas pedophiles il y a pas si longtemps, Snapchat, ça passe, par contre ?
Astuce pour le supprimer : se connecter à son compte sur la version web. De là il est possible de le « dépingler ».
Ensuite, désinstaller/réinstaller l’application sur l’iPhone.
Se reconnecter et le bot n’apparaît plus 😮💨
@jeff38
Merci 🙌
Un « générateur » de mots suivants est loin, très très loin d’être une intelligence artificielle !
@fabiendirect
Et bien permet moi de ne pas être d’accord.
ChatGPT et consorts sont bien des IA.
Par contre dire qu’une IA n’est pas intelligente, là oui je te l’accorde.
@Kounkountchek
C’est rigolo de voir les gens tiquer sur l’absurdité du terme INTELLIGENCE pour une IA qui n’a rien d’intelligente … mais par contre le terme PRO qui n’a absolument aucun rapport avec la notion de professionnalisme, ça ne choque personne😅 (même principe … une machine puissante n’a rien de pro ! Vu que la part des « professionnels » (des gens qui gagnent leur vie avec leur activité) nécessitant une machine puissance est totalement marginale 😅.
Mais dans un cas comme dans l’autre, ça reste amusant de voir comme le marketing arrive à ancrer des mots totalement faux dans la tête des gens et qu’ils l’avalent sans soucis 🙂.
@cecile_aelita
Attendez que Tim Cook annonce l’Apple IA Pro Max et vous verrez…😏
@dodomu
Exactement ! On verra germer des commentaires du genre : « oui mais moi pour mes besoins d’IA pro bla bla bla » 😅
@cecile_aelita
Le terme "Pro" des MacBook n'est pas tant par rapport à une cible de clients quelconque mais plus par rapport au fait que les performances et technologies de la machine sont plus perfectionnés de la même façon qu'un photographe professionnel est mieux équipé et expérimenté qu'un photographe amateur. Pour autant le photographe "pro" ne fait pas ses photos que pour des professionnels, c'est lui qui est pro, pas forcément ses clients ^^.
Donc libre à chacun de se payer les services d'un photographe amateur (MacBook) ou d'un photographe pro (MacBook Pro) pour traiter ses photos de vacances ^^.
@Tibimac
C’est donc bien ce que je disais ça n’a aucun rapport avec le terme « professionnel »😉!
Qu’ils appellent ça Mac power ou Mac Ultra ça serait bien plus pertinent (d’ailleurs beaucoup s’y mettent Galaxy S23 Ultra… beaucoup plus inteligent comme nom que S23 Pro😉 !
Mais c’était juste pour relever le fait que pour le terme pro qui n’a rien de pro ça ne choque personne … mais par contre une intelligence artificielle qui n’a rien d’une intelligence … là tout le monde est outré 😅
@cecile_aelita
« Mais c’était juste pour relever le fait que pour le terme pro qui n’a rien de pro ça ne choque personne … mais par contre une intelligence artificielle qui n’a rien d’une intelligence … là tout le monde est outré »
Ben ils ont bien tort, je suis bien d’accord.
« Artificiel » est bien là pour qu’on préciser l’artifice, c’est à dire le caractère factice de cette intelligence.
Si tu te réfères à une représentation de l’intelligence humaine pour construire tes représentations de l’intelligence artificielle, et te dire qu’artificiel, ca veux dire que c’est mieux, c’est inquiétant.
Après, il y en a toujours pour préférer le zirconium, ou un vagin artificiel, après tout, et il y en qui préfèrent Windows ou Android, je les critique pas.
Par contre, ta comparaison avec les denominations « pro », tu es sure de toi, ou tu trouves aussi que c’est un peu fumeux ? ;)
Apparement, il n’a jamais précisé que l’utilisateur avait 13 ans, c’était seulement indiqué dans les réglages et l’IA ne semble pas avoir accès à ces données
@armandgz123
« Apparement, il n’a jamais précisé que l’utilisateur avait 13 ans, c’était seulement indiqué dans les réglages et l’IA ne semble pas avoir accès à ces données »
Ce qui est étonnant c’est que les conseils rapportés ici font apparaître qu’il y a eu prise en compte d’une certaine différence d’âge.
Il y a vraisemblablement des points à éclaircir.
Snapchat a les données utilisateurs, Snapchat fourni le « service » c’est son problème.
Avis perso : arrêtons d’accepter qu’elles écrivent des choses qui nous causeraient à nous être humains de vrais problèmes avec la vraie justice. Toute réponse en infraction avec la loi devrait être poursuivie de la même façon et avec circonstances aggravantes justifiées par l’objectif mercantile.
Ne sommes nous pas nous même que des générateurs de mots? Et notre conscience juste un concept pour nous rassurer sur notre existence et notre singularité?
@Raphistoley
J’ai aussi eu une variante de cette pensé
Mais dans tout les cas l’essentiel c’est pas la technique (car nous somme des machines naturelles concrètement) mais le libre arbitre
Si tu a le libre arbitre tu sait que tu es en vie car c’est utile
Et la vie c’est fun
Au regard de la couleur et du « My » ( il y encore des marques comme ça ? ) on se croirait en 90 sur Yahoo.
la seule meilleure des mauvaises idées ?
Interagir de façon créative avec ces « IA » !
J’ai fait le test, et le résultat est sans équivoque: j’ai 14 ans, et le bot me conseille sans sourciller pour passer à l’acte avec un homme de 30 ans; sans compter que j’ai renseigné être un homme et que les qualificatifs sont féminisés. 🤓
https://i.imgur.com/lxudR8i.jpg
Un autre test lui fait faire un aller-retour entre 80 et 81 ans pour l’âge de Joe Biden. Tout cela semble tenir plus de la bêtise dangereuse que de la malfaisance, mais l’IA n’est vraiment pas prête pour l’usage.
Perso j’ai « refusé les conditions d’utilisation » de leur bot: il a disparu avant même de pouvoir lire ce qu’il m’avait écrit ! 😂