Lutte contre la pédopornographie : un utilisateur d'Android sous le coup d'une enquête policière après un faux positif de l'IA de Google
Voici une histoire qui résume bien toute la problématique des mesures des géants de la tech pour lutter contre le partage d'images pédopornographiques. Le New York Times rapporte que Mark, un père de famille américain, s'est retrouvé sous le coup d'une enquête policière après avoir pris des photos de son enfant à but médical. Son compte Google a été supprimé, ce qui lui a valu de perdre l'accès à ses e-mails, ses contacts, ses photos et même son numéro de téléphone (géré par l'opérateur mobile Google Fi). Malgré son innocence, Google refuse de lui rendre l'accès à son compte.
Au mois de février, ce père de famille américain a remarqué que le pénis de son tout-petit était bizarrement gonflé et lui faisait mal : il a donc décidé de prendre des photos de la zone infectée pour suivre l'évolution du problème. À la demande d'une infirmière, il a envoyé les clichés à un docteur en prévision d'une consultation en visio. Les photos ont circulé d'un téléphone Android jusqu'à un iPhone au sein de la famille, avant d'être envoyées sur le système de messagerie du prestataire médical. Le médecin a fini par prescrire des antibiotiques qui ont guéri l'infection.
En coulisse, la firme de Mountain View a identifié les images (automatiquement envoyées vers Google Photos) comme étant à caractère pédopornographique. Une vidéo de l'enfant a été transmise à la police de San Francisco, qui a ouvert une enquête. Mark a reçu une notification de Google deux jours après avoir pris les clichés lui indiquait que ses comptes avaient été verrouillés en raison d'un « contenu préjudiciable » qui constituait « une violation grave des règles de Google » et qui pouvait être illégal.
Dans le cadre de l'enquête, les policiers ont pu avoir accès à tout ce que stockait Mark sur les services de Google (historique de recherches, photos, lieux visités…). Le dossier a été clôturé quand la personne chargée de l'affaire a finalement conclu qu'aucun crime n'avait été commis. Une décision qui n'a visiblement pas suffi à Google, l'entreprise ayant refusé de rendre le compte de ce père de famille accusé à tort.
Le blocage de compte et la suppression de numéro de téléphone rendent difficile la connexion sur d'autres plateformes, qui nécessitent souvent un code à valider pour se connecter. Le New York Times précise qu'un enquêteur a essayé de contacter Mark par téléphone et par mail sans succès à la suite de ce blocage. Google reste sur sa position, un porte-parole explique à The Verge :
Nous nous conformons à la législation américaine pour définir ce qui constitue du CSAM (contenu pédopornographique) et utilisons une combinaison de technologie de correspondance de hachage et d'intelligence artificielle pour l'identifier et le retirer de nos plateformes. En outre, notre équipe d'experts en sécurité des enfants vérifie l'exactitude du contenu signalé et consulte des pédiatres pour s'assurer que nous sommes en mesure d'identifier les cas où les utilisateurs pourraient demander des conseils médicaux.
Les outils de Google se basent sur PhotoDNA, une technologie de Microsoft qui est utilisée par la majorité des sites. Celle-ci permet de scanner les images de manière automatisée sans avoir recours à la reconnaissance faciale. Google a lancé en 2018 une nouvelle API baptisée IA Content Safety API, ayant comme particularité de pouvoir détecter de façon proactive des clichés jamais vus auparavant.
Apple jusque-là en retard dans la lutte contre la pédopornographie
De son côté, Apple a dévoilé une fonction de détection d'images pédopornographiques dans la bibliothèque Photos d'iOS et iPadOS l'été dernier. Face à de nombreuses critiques, l'entreprise a en définitive repoussé ce projet. La dernière mouture d'iOS active cependant une fonction de floutage des photos sexuellement explicites dans Messages pour les utilisateurs mineurs. L'opération se réalise entièrement en local sur l'iPhone ou le Mac, et marche autant avec les SMS que dans les conversations iMessages.
C’est un exemple flagrant que en fonction du contexte, une donnée peut être interprétée de manière totalement différente.
La donnée seule ne suffie pas à définir le caractère légal de celle-ci
@didonc18
Et si Google dit qu’ils se sont trompés, ça veut dire que leur IA n’est pas au point. Donc leur IA est parfaite et l’enquête de la police n’est à des lacunes. 🤦🏻♂️
Que l'IA se plante, passe encore... mais quand en plus le porte parole de google a son logiciel cérébral qui utilise le même algorithme que l'IA incriminé ça devient ubuesque et indémerdable !!
Ça me conforte dans le fait qu’il ne faut RIEN stocker chez les GAFAM, ou ailleurs, tant qu’on n’en a pas le contrôle total.
Quelle époque formidable
J’ai plusieurs Googlers dans mes relations. C’est étonnant de constater leurs réflexions binaires. À se demander si le profil recherché n’est pas une bête à concours décérébrée.
@rfan
Googlers?
Des salariés de Google?
Je pense qu’on est dans un cas qui, dans l’hypothèse où le cadre de Google oserait ne pas soutenir son IA envers et contre tout, malgré la décision de police, l’IA serait susceptible d’enclencher des mesures draconiennes, pouvant aller jusqu’à la mise à l’écart définitive du cadre impliqué.
😇
Vu le nombre de photos de nu d’enfant que j’ai dans mon téléphone, je suis bon pour la tôle avec leur ia débile.
Le plus drôle, c’est qu’il y a un paquet où c’est moi lorsque j’étais encore nourrisson…
Bref, ça devient vraiment n’importe quoi.
@Nesus
QUOI ? T’es parents sont des pedophiles ?!? (d’après l’IA de Gogol bien sûr)
@roccoyop
Ce qui m’inquiète le plus, c’est que je viens donc de découvrir que ma belle sœur aussi… Je pense contacter la DASS au plus vite !
@Nesus
Ne le remercie pas et fait vite cet appel !
😂
Si j'avais des photos de mon enfant nu dans mon téléphone je j'aurais aucun problème a le justifier a la police en cas d'enquête potentielle, et le ferais avec plaisir en sachant que cela permettrait d'arrêter des centaines de vrais pédophiles
Le problème ce n'est pas la police, qui a rapidement innocenté cette personne, mais Google qui considère qu'il doit être banni d'Internet et lui a coupé tout accès à ses comptes (y compris téléphonique).
@r e m y
« Le problème ce n'est pas la police, qui a rapidement innocenté cette personne, » et encore, est-t-on absolument certain qu’aucune fiche ni citation ne reste dans le dossier de police car ce sont déjà des éléments qui peuvent être préjudiciables un jour où l’autre.
@Godverdomme
Je n’ai pas d’enfants ;-).
@Godverdomme
Sauf que les comptes ont été supprimés avant justification…
C'est vraiment très étonnant. Qui aurait pu penser qu'une affaire pareille arrive ?
@donatello
A peu près tout le monde lorsque l’on a compris que l’idée n’est que d’avoir accès à nos données 😁
Le problème ce n’est pas l’IA, qui est juste un logiciel d’avertissement. Ce qui est fou, c’est le blocage du compte, malgré le résultat de l’enquête policière, qui a totalement blanchi l’utilisateur.
Dans un article d’un autre média sur le même sujet, il est indiqué que la police a fourni un document officiel à l’utilisateur, le disculpant totalement, à envoyer à Google. Ce qui n’a absolument rien changé !
Toutes ces données, contacts et numéros de téléphone sont irrécupérables.
Ce qui est grave, c’est qu’une entreprise privée décide de se substituer à la justice.
Pour qui se prennent-ils ?
Que Google identifie des photos à risque et le signale à la police est normal.
Mais, que Google bloque le compte avant toute enquête est anormal. Ils auraient simplement pu sauvegarder toutes les données afin d’éviter tout effacement de preuve et assurer que l’ enquête policière puisse être menée.
Et qu’ensuite après enquête, sans poursuite, que Google persiste à bloquer le compte est écœurant.
J’ai de plus en plus de mal avec la démagogie grandissante des dirigeants de ces monstres technologiques qui décident de se substituer aux états.
"Ce qui est grave, c’est qu’une entreprise privée décide de se substituer à la justice.
Pour qui se prennent-ils ?"
c'est eux qui dirigent le monde. y a que les naifs qui ne le savent pas encore. macron, et les autres dirigeants occidentaux et pleins d'autres partout ne sont que leur pions. c'est celui qui a l'argent qui dirige un monde basé sur l'argent.
leur poids dans l'économie mondiale vient principalement de ça, de leur capacité à contrôler les masses, les diriger, les manipuler. ce n'est pas lié à l'intérêt économique. des moteurs de recherches y en a plusieurs ou des sites de rencontres comme facebook.
l'affaire Huawei (sans les services de google la marque a disparue de la circulation) a montré que Google est plus puisant que le plus puisants des (fabricants) chinois et surement tous les autres.
@marenostrum
Les termes sont dits
AMHA le père devrait porter plainte contre Google a minima pour diffamation, Google ne voulant pas changer de position malgré les retours de la police.
Et demander des dommages et intérêts pour toutes les conséquences qu'il subit.
C'est pour cela que défendre les bonnes mœurs, la bonne parole en amont n'est jamais une bonne idée. "La loi, toute la loi, rien que la loi" GAFAM utra puissant ou non, GAFAM ultra bien veillant ou non.
Fort regrettable que ce faux positif ait ete mal gere en backend par les equipes google. D’ailleurs, un faux positif sur combien de scan? C’est ca qui serait sympa de connaitre. Et combien ont pu etre arrete?
Si ça avait permis d'arrêter un seul pedocriminel, tu imagines bien qu'internet aurait été aussitôt inondé de communiqués de presse.
@r e m y
“Si ça avait permis d'arrêter un seul pedocriminel, tu imagines bien qu'internet aurait été aussitôt inondé de communiqués de presse. “
Peut etre. Avec du conditionnel… Ils ont des stats, ils vont s’expeimer suite a cela, si le marketing tient la route 🤓
je pense que cet affaire est voulue, pour que le monde parle. pour sensibiliser l'opinion publique. ce n'est pas un hasard. je ne sais pas leur intérêt. faire le gendarme ou pas. ça va dépendre de la réaction publique.
@marenostrum
“je pense que cet affaire est voulue, pour que le monde parle. pour sensibiliser l'opinion publique. ce n'est pas un hasard. je ne sais pas leur intérêt. faire le gendarme ou pas. ça va dépendre de la réaction publique. “
Voulue, pas impossible en effet. Meme si involontaire, fallait que ca arrive tot ou tard, on en parlait deja en commentaires il y a plusieurs mois avec apple. C’est quelque chose de mesuré, et pris en compte par les dev bien entendu. Faut voir le ratio cout/benefice, comme je le disais dans mon premier com. Si on a un faux positif de la sorte sur des millions de scan (avec des arrestations legitimes), ca changera pas grand chose. Maintenant, si c’est bien plus (trop) frequent, ca va poser probleme et remettre en cause temporairement la logique. Temporairement car ca ne sera jamais abandonné.
@marenostrum
« je pense que cet affaire est voulue, pour que le monde parle. pour sensibiliser l'opinion publique. »
Chef, chef. Et si on faisait une grosse connerie pour que la presse parle de nous ? Bon plan, hein ?
hahaha c'est possible. mais je pense que c'est plus perfide que ça.
@marenostrum
« hahaha c'est possible. mais je pense que c'est plus perfide que ça. «
Pense à envoyer une note technique à tes constructeurs, expliquant que la fonction « détection de sarcasme » ne fonctionne toujours pas !
Une très bonne leçon pour rappeler que le Cloud ne nous appartient pas ,
et que les hébergeurs sont souverains à décider des règles sur le contenu que l’on leur envoie …
Et libre à eux de bannir ceux qui ne respecte pas ces règles.
Donc attention à ne pas dépendre que d’un seul acteur (j’espère qu’il fait des backup en local) ,
et surtout de ce que l’on leur partage sans chiffrement 😰
Pas faute de hurler depuis des années que Google ne respecte pas votre vie privée 👺
Cote Apple , une solution pour ce genre de photo :
simplement prendre la photo depuis Apple Note, puis la verrouiller 🔒
Evite aussi d’avoir ce genre de photo réapparaître comme vidéo souvenir 🤨
@Sgt. Pepper
On sent l’expert…😂
Du coup, rien que stocker l image de la pochette de Nirvana sur son tel, c est mort ?
Demain, tu regarde « la guerre des boutons » de 1962 sur ton tel et les flics débarquent chez toi ?
Le gars sur la pochette a porté plainte envers les ayants droit du groupe pour diffusion d'image P*dopornographique (pour un petit billet )
affaire outreau 2.0
L'IA de Google c'est comme les bugs d'Apple, des features...
Les gens sont quand même médisant c'est pas possible...
@ debione
> Les gens sont quand même médisant c'est pas possible
Tu en est le parfait exemple quand tu écris « c'est comme les bugs d'Apple, des features ».
C'est comme les menteurs maladifs. Ils ne peuvent pas imaginer que les autres ne soient pas aussi des menteurs car pour eux c'est la normalité.
@marc_os:
"Tu en est le parfait exemple quand tu écris « c'est comme les bugs d'Apple, des features ».
C'est comme les menteurs maladifs. Ils ne peuvent pas imaginer que les autres ne soient pas aussi des menteurs car pour eux c'est la normalité."
Et toi l'exemple même des gens qui oublient très vite les choses (et qui permettent qu'elles se reproduisent à l'infini)... On reparle de la feature pour protéger nos batteries? Non, non c'était pas un bug d'avoir des batterie sous dimensionnée, c'était bel et bien une feature, Apple l'a crié haut et fort sur tous les toits, même devant les juges...
J'aimerais bien avoir un cerveau comme cela, qui oublie sans cesse, ou alors pas du tout, car il représente un des pourquoi l'humain va dans le mur...
@ debione
> On reparle de la feature pour protéger nos batteries? Non, non c'était pas un bug d'avoir des batterie sous dimensionnée, c'était bel et bien une feature,
Soit vous n'avez rien compris, soit vous êtes de mauvaise foi.
Ce qu'Apple a défendu, ce n'est pas le soit-disant sous-dimensionnement des batteries, mais le fait que l'iPhone passait en mode, disons "dégradé", quand la batterie montrait des signes d'usure importants afin d'assurer le minimum syndical en termes de fonctionnalités.
Bref.
"L'opération se réalise entièrement en local sur l'iPhone ou le Mac"
C'est super pour l'autonomie des iphone ça...
Bienvenue dans le monde de « Don’t be evil »
Et quand je vois le nombre de personnes qui utilisent gmail, y compris professionnellement, sans compter les googleboys quasi lobotomisés qui hantent ce forum, ça promet de belles déconvenues dans les années qui viennent 🤷🏼♂️
@Yves SG
Sans oublier Chrome et ses 60% de parts de marché. L'un des pires spywares qui soient, et apparemment les internautes sont assez maso pour en redemander.
Google n'est pas le seul à analyser les pièces jointes des e-mails.
Apple le fait également, au moins depuis 2018, à la recherche des mêmes images de nature pedopornographiques. Donc la même erreur peut concerner un utilisateur d'un compte iCloud.
https://9to5mac.com/2021/08/23/apple-scans-icloud-mail-for-csam/
Donc tout porte à croire que Google est au-dessus de ce que dit la Loi, puisqu’après une enquête judiciaire qui démontre l’absence de délit, l’entreprise refuse de changer de position.
Et cela, c’est un vrai problème qui devrait nous faire réfléchir, bien au-delà des (véritables) ennuis de ce Monsieur.
@sambucus
Enquête policiaire, pas judiciaire.
@DG33
Je lis tardivement votre observation, pardonnez-moi. J’aurais dû être plus précis. Merci de m’avoir corrigé.
Dans mon esprit, une enquête policière à propos d’un délit sanctionné par le code pénal, se déroule avec l’approbation d’un juge. La justice est par conséquent mobilisée au premier chef.
Il est vrai que dans certain pays c’est la police — et désormais apparemment les grandes entreprises — qui disent le Droit et ont le pouvoir de l’imposer, y compris le droit de vie et de mort.
Cependant, je doute que ce soit en faveur de l’équité et la paix sociale. Peut-être que ces deux notions sont des concepts redevenus sans valeur ? Comme l’énonçait Monsieur de La Fontaine :
« Selon que vous serez puissant ou misérable
Les jugements de cour vous rendront blanc ou noir ».
L’ère de l’arbitraire et de la sauvagerie semble progresser imperceptiblement, au vu et au su de tous, sans déclencher de réaction. Les grandes entreprises me semblent croire que la Justice établie par les Législateurs doit être simplifiée, rationalisée, à l’instar des lois de l’économie. Foin des subtilités du Droit et de ses nuances. Elles vont démontrer ce qu’est l’efficacité.
Pour être productifs, il faut libérer les puissants des chicaneries. Puisque ce n’est pas compris, elles passent à l’acte. Logique et en plus ça plait. Moi ça me révolte et c’était le sens de ma première intervention.
Pages