Lutte contre la pédopornographie : Apple rassure après une découverte inquiétante sur NeuralHash
Un développeur est parvenu à « ouvrir » l'algorithme NeuralHash, la technologie qui permet à Apple de comparer en local les images contenues dans la bibliothèque photos de l'iPhone avec celles d'une base de données d'images pédopornographiques. En l'occurrence, on ne parle pas de comparaisons directes entre les photos, mais de comparaisons entre des suites de chiffres (hash).
Asuhariet Ygvar a publié sur GitHub une version Python de NeuralHash, créée à grands renforts d'ingénierie inverse depuis d'anciennes versions d'iOS. Ce n'est pas à proprement parler l'algorithme spécifique développé par Apple, mais une mouture générique qui permet quand même de se faire une petite idée de son fonctionnement.
La mise en ligne de ce code a permis à plusieurs amateurs de bidouiller l'algo ; un d'entre eux explique avoir trouvé un procédé permettant de duper le réseau neuronal sur lequel Apple s'appuie pour réaliser le comparatif. Il semble donc que le système d'Apple puisse prendre des vessies pour des lanternes : une image sans rapport avec la pédopornographie pourrait donc apparaitre comme suspecte en portant le même numéro qu'une image signalée comme pédopornographique (« collision de hashes »).
Apple a néanmoins tenu à rassurer. Le constructeur a indiqué que la version analysée par les développeurs était générique, ce n'est pas la version finale qui sera livrée cet automne aux utilisateurs américains.
Le système de détection de photos pédophiles a pris en compte ce genre de cas : si une image génère un signalement NeuralHash, elle sera de nouveau vérifiée par un deuxième système dont les spécifications ne sont pas publiques. Ce dernier pourra donc identifier que la correspondance est une erreur, avant qu'elle soit transmise aux vérificateurs humains. Il faudra donc faire confiance à Apple sur ce coup là.
Par ailleurs, Craig Federighi a précisé il y a quelques jours qu'un minimum de 30 images correspondantes à celles de la base de données doivent être remontées par le système avant qu'une alerte rouge soit lancée chez Apple. Et ensuite, il y a encore une étape d'examen par des employés.
Craig Federighi reconnait qu'Apple a très mal communiqué sur les mesures de lutte contre la pédopornographie
@YetOneOtherGit
D’après l’article c’est donc 0,0104% de naïfs… 🥶
@elitelazor
"D’après l’article c’est donc 0,0104% de naïfs… 🥶"
Calcul un peu rapide 😉
@YetOneOtherGit
Merci pour le lien… 750.000!… beau projet
@elitelazor
"va déposer sur 99,9..% d’honnêtes gens alors à quoi bon au final ?"
Des systèmes du même acabit mis en place par des acteurs du stockage cloud on visiblement conduit à de nombreux signalements 😎
Tout comme Hadopi, il y en a qui se font prendre mais cela n'arrête pas le piratage pour autant, ça le déplace.
@bibi81
"Tout comme Hadopi, il y en a qui se font prendre mais cela n'arrête pas le piratage pour autant, ça le déplace. "
Aucune mesure de lutte contre des comportements délictueux n’arrête ces comportements 😉
@YetOneOtherGit
« Aucune mesure de lutte contre des comportements délictueux n’arrête ces comportements 😉 »
Sauf si tu coupes.Mais c’est du boulot, surtout si c’est préventif.
@Bigdidou
"Sauf si tu coupes"
Tu coupes quoi ?
@YetOneOtherGit
« Tu coupes quoi ? »
Ce avec quoi on commet le délit ou le crime.
C’est un processus intéressant assez bien mis en valeur par une secte à succès en ce moment.
@Bigdidou
"Ce avec quoi on commet le délit ou le crime."
Cela n’éradiques pas la criminalité pour autant, la longue histoire de l’inique peine capitale et de divers châtiments abject n’a jamais réussi à éradiquer le crime.
Je ne suis pas certain de voir où tu veux en venir 🤔
@YetOneOtherGit
« Je ne suis pas certain de voir où tu veux en venir 🤔 »
Ouh, là absolument nulle part.
De mon souvenir, juste un truc bête après avoir lu un résumé de la justice Taliban…
Ceci étant, la castration réelle ou chimique, contrairement aux représentations communes, ça fonctionne plutôt bien en terme de prévention de la récidive.
Avec les perturbateurs endocriniens, on va finir par en arriver là…
@Bigdidou
"Ceci étant, la castration réelle ou chimique, contrairement aux représentations communes, ça fonctionne plutôt bien en terme de prévention de la récidive. "
Ok ça marche sur la récidive mais cela n’éradiques pas les choses.
Après toutes la criminalité reposant sur des troubles d’ordre psychiques est évidemment très complexe, tu dois en savoir quelque chose.
En tant que thérapeute, ton opinion sur capacité à faire changer les individus qui souffrent de troubles de ce type ?
Il est aussi intéressant d’observer comme le rapport de nos sociétés à ces considérations peu évoluer dans le temps, les questions de pédophilies ont longtemps été considérés comme faisant partie du champ des libertés individuelles avec lesquels il ne fallait surtout pas inférer.
Rien que pour l’histoire récente :
https://fr.wikipedia.org/wiki/Apologie_de_la_p%C3%A9dophilie
Toujours fascinant de voir comment le rapport à ces questions peut évoluer dans le temps.
@YetOneOtherGit
« En tant que thérapeute, ton opinion sur capacité à faire changer les individus qui souffrent de troubles de ce type ? »
Jamais d’opinion.
Juste des chiffres ;)
Les collègues (trop peu nombreux, mais ça se conçoit) qui s’en occupent disent que ça fonctionne bien.
Et il faut encore rappeler que la pédophilie est un trouble qui génère une grande souffrance (par définition, l’attirance sexuelle pour des enfants/ados sans souffrance n’est plus de la pédophilie médicalement parlant) et il n’est associé à aucun passage à l’acte dans l’immense majorité des cas.
Les gens gardent leurs facultés de discernement : ils perçoivent bien « l’anomalie » et mettent en place des défenses et adaptations efficaces.
Ouf.
@Bigdidou
"Jamais d’opinion."
Opinion étayés je n’en attends pas moins de toi, pour moi une opinions ce n’est pas le fruit de la macération de ses viscères tu le sais bien.
Merci pour ta réponse et au passage : l’évolution du rapport de la société à ces questions semble donc avoir des conséquences réelles. La défense de ce type de comportement devenant quasiment impossible et étant quasiment unanimement condamnée par la société.
@YetOneOtherGit
« Toujours fascinant de voir comment le rapport à ces questions peut évoluer dans le temps. »
Bien sûr.
Dans le temps et dans l’espace…
@Bigdidou
"Dans le temps et dans l’espace…"
Pour résumer en fonction des sociétés 😉
Aucune mesure de lutte contre des comportements délictueux n’arrête ces comportements 😉
Oui voilà, surveillance générale pour au final rien.
@bibi81
"Oui voilà, surveillance générale pour au final rien."
Nope si tu part de ce principe idiot tu peux supprimer toutes les fonction régalienne de police et de justice puisque aucune d’entre elle ne permettra et n’a jamais permis d’éradiquer les délits même sous les régimes autoritaires les plus extrêmes.
Nous sommes toujours en la matière sur des contributions à la lutte contre, pas sur des outils d’éradication fantasmatiques.
Nope si tu part de ce principe idiot tu peux supprimer toutes les fonction régalienne de police et de justice puisque aucune d’entre elle ne permettra et n’a jamais permis d’éradiquer les délits même sous les régimes autoritaires les plus extrêmes.
Sauf que cela n'a aucun rapport. D'ailleurs ni la justice ni la police n'a mis en place de surveillance généralisée. Et pour cause, cela ne marche pas.
@bibi81
"D'ailleurs ni la justice ni la police n'a mis en place de surveillance généralisée."
A bon ?
@bibi81
"Sauf que cela n'a aucun rapport."
Cà à tous les rapport tu prétends que parce qu’il n’y a pas d’absolu en terme d’efficacité il faut renoncer à la lutte contre les fait délictueux ce qui est une hérésie.
Pour le reste et en ne s’intéressant qu’aux vieilles démocraties occidentales, elles ont toutes à des degrés divers des systèmes de contrôle présupposant que tout citoyen peu avoir un comportement délictueux qu’il faut détecter et punir :
- Systèmes de contrôle de la vitesse pré-supposant que tout conducteur est potentiellement un contrevenant
- Systèmes de vidéo-surveillance pré-supposant que tout citoyen est potentiellement un contrevenant
- Systèmes de recoupements et d’analyse afin de détecter les potentiels fraudes fiscales, abus aux aides, fausses déclarations… pré-supposant que tout citoyen est potentiellement un contrevenant
- Systèmes de profilage des citoyens pour évaluer les potentiels délictueux
…
Tout système de contrôle pré-suppose un potentiel comportement délictueux et s’applique indifféremment à la population (Idéalement)
Et les exemples sont nombreux.
On peut philosopher sur le point d’équilibre sur ce que permet aujourd’hui la technologie sur des pratiques très anciennes.
Bien des doctrines s’opposent et certains mouvements politiques prônent la transparence et l’automatisation la plus large pour gagner en efficacité
Nous sommes face à une très vieille question d’équilibre entre exercice du monopole de la violence légitime des états et libertés individuelles.
Et cet équilibre est très changeants selon les époque, sans même parler du rapport au bien et au mal.
Sur les question de pédophilie qui nous intéresse ici la position de la société était fort différentes avant la fin des années 80 et la lutte contre elle était considérée comme attentatoire aux libertés individuelles par de nombreux mouvements intellectuels et politiques.
Bref les fantasme d’absolu ne sont que des fantasmes.
@elitelazor
Beaucoup de pédophiles sont malades (au vrai sens médical tu terme) et ne raisonnent pas comme toi, moi, et bien d’autres encore, non seulement sur cette déviance sexuelle, mais sur d’autres choses encore.
Donc oui, je pense que cette mesure, aussi débattue soit-elle sur le web, à la TV ou dans les journaux, peut avoir un impact.
Et de toutes façons, c’est toujours mieux d’en parler que de le faire en douce (comme Google, Microsoft et d’autres, qui font pareil mais n’en parlent pas). Et là, étrangement, on ne parle que d’Apple qui, malgré une communication hasardeuse au début, détaille les mesures qu’ils vont prendre. Au moins, eux ne le font pas derrière le dos de leurs utilisateurs.
@David Finder :
« Et de toutes façons, c’est toujours mieux d’en parler que de le faire en douce (comme Google, Microsoft et d’autres, qui font pareil mais n’en parlent pas). »
Google, Microsoft et d'autres ont mis en place un mécanisme de surveillance en local sur des appareils qu'ils ont vendus à des utilisateurs et donc qu'ils ne possèdent plus ?
Si oui, merci de donner vos sources.
Si non, alors justement ils ne font pas pareil, et ça fait toute la différence avec l'approche choisie par Apple.
"une image sans rapport avec la pédopornographie pourrait donc apparaitre comme suspecte en portant le même numéro qu'une image signalée comme pédopornographique (« collision de hashes »).
Apple a néanmoins tenu à rassurer. Le constructeur a indiqué que la version analysée par les développeurs était générique, ce n'est pas la version finale qui sera livrée cet automne aux utilisateurs américains."
Doit-on en conclure qu'Apple a inventé un algorithme de hash qui n'a pas de collisions ?
@bibi81
"Doit-on en conclure qu'Apple a inventé un algorithme de hash qui n'a pas de collisions ?"
Évidemment pas, mais sauf erreur le signalement devrait être activé à partir d’un seuil de nombre de fichiers positifs.
Une fonction de hachage bien faite ayant une probabilité de collision faible, les chances statistiques de plusieurs faux positifs déclenchant le seuil devrait être infinitésimal.
Une fonction de hachage bien faite ayant une probabilité de collision faible
Le hachage consiste à réduire (ou augmenter) une chaîne de caractères à une longueur donnée. Forcément, cela génère des collisions.
@bibi81
"Le hachage consiste à réduire (ou augmenter) une chaîne de caractères à une longueur donnée. Forcément, cela génère des collisions."
Aurais-je dit le contraire ?
Par contre tout l’art de la création d’une fonction de hachage consiste à éviter les probabilité d’occurence des collisions sur des données qui sont rarement statistiquement équiprobables 🤓
c'est logique que personne va te mettre en prison sans preuves et sans tribunal. si tu gagnes le procès, tu peux par l'occasion en gagner quelques millions par Apple aussi pour des dommages et intérêts. bref c'est tout bon pour les innocents.
les autres qui se battent pour préserver la vie privée à tout prix, sont juste de grands naifs. ça fait longtemps que Apple sait tout de nous. d'ailleurs il doit y avoir un grand nombre de pedotrucs, d'où cette initiative de Apple qui cherche juste à les dégager de ses appareils et écosystème.
@marenostrum
"c'est logique que personne va te mettre en prison sans preuves et sans tribunal. si tu gagnes le procès, tu peux par l'occasion en gagner quelques millions par Apple aussi pour des dommages et intérêts. bref c'est tout bon pour les innocents.
les autres qui se battent pour préserver la vie privée à tout prix, sont juste de grands naifs. ça fait longtemps que Apple sait tout de nous. d'ailleurs il doit y avoir un grand nombre de pedotrucs, d'où cette initiative de Apple qui cherche juste à les dégager de ses appareils et écosystème. "
Non, moi j'crois qu'il faut qu'vous arrêtiez d'essayer d'dire des trucs. Ça vous fatigue, déjà, et pour les autres, vous vous rendez pas compte de c'que c'est. Moi quand vous faites ça, ça me fout une angoisse... j'pourrais vous tuer, j'crois. De chagrin, hein ! J'vous jure c'est pas bien. Il faut plus que vous parliez avec des gens.
t'était pas destiné mon commentaire.
@marenostrum
"t'était pas destiné mon commentaire. "
Il n’en est pas moins imbattable 🤪
@YetOneOtherGit
@YetOneOtherGit
Je te rejoins complètement. Il ne pourrait pas y avoir un fil dédié aux robots de conversation? Qu’ils se parlent entre eux.
Depuis le début je suis persuadé qu’il s’agit d’une expérience du MIT, ou du CNRS.
@bibi81
Et de quoi se plaignent-ils?
Mettre en ligne une trentaine de faux positifs, que les détracteurs du système peuvent partager et téléverser dans leur bibliothèque Photo sur iCloud.
Cela devrait rapidement surcharger le processus de vérification, basé sur l’humain.
… fin du système
… évolution vers la v2.0?
.
@bibi81
Non mais le problème c’est que les experts de tout poil débâtent de certains choses qui les dépassent un peu…
1)
Les gars ont pris la photo d’un chien, calculé son hash puis on utilisait un outil qui en utilisant le hash calculé a sorti un dégradé de gris qui ne ressemble à rien mais qui produit le même hash
2)
Techniquement ce n’est pas de la collision mais une attaque dit pre-image
3)
La probabilité de trouver un hash identique en piochant 2 images aléatoirement est de 1/2^128 pour SHA-256. C’est ce qui s’appelle de la collision. C’est pour cela que les mots de passes sont stockés avec ce genre de hash: un amateur pour essayer de casser la banque?!!
5)
Apple ne fait pas que calculer un hash mais fait passer l’image dans son NN quo gait le calcule
6)
Les hashs de la base de donné en question sont cryptés: on ne peut pas faire du reverse engineering dessus
Maintenant la vraie question est de connaître les perfs du NN d’Apple. Sans vouloir trop être optimiste, si leur NN ne peut pas flager hors propos un nuage de gris, ce seraient de vrais amateurs…
Mais tant qu’ils ne communiquent pas dessus, il y aura tjs débats.
@0MiguelAnge0
Intéressant éclairage. Merci des informations !
Les gars ont pris la photo d’un chien, calculé son hash puis on utilisait un outil qui en utilisant le hash calculé a sorti un dégradé de gris qui ne ressemble à rien mais qui produit le même hash
Oui le but étant de démontrer que 2 photos peuvent obtenir le même hash.
Techniquement ce n’est pas de la collision mais une attaque dit pre-image
Le but était de démontrer la collision...
La probabilité de trouver un hash identique en piochant 2 images aléatoirement est de 1/2^128 pour SHA-256. C’est ce qui s’appelle de la collision. C’est pour cela que les mots de passes sont stockés avec ce genre de hash: un amateur pour essayer de casser la banque?!!
Non ce n'est pas pour cela, c'est pour stocker une empreinte du mot de passe sans pouvoir revenir au mot de passe. Les collisions ne sont pas gênantes dans ce cas là.
Les hashs de la base de donné en question sont cryptés: on ne peut pas faire du reverse engineering dessus
Pas besoin de crypter le hash, c'est justement le but du hash de ne pas pouvoir revenir au données brutes (et c'est pour cela qu'on l'utilise pour stocker les mots de passe).
@bibi81
Tu n’as pas compris: les hashs de la bases de données sont cryptées pou eviter justement de pouvoir faire des faux positifs en sachant qu’elle est le hash attendu.
Les hash n’ont pas besoin d’être cryptés en règle général sauf dans ce cas précis pour eviter de berner le truc, même si j’espère qu’Apple aura entraîné correctement sont NN pour arriver à faire un pré-filtage efficace.
Ça ne concernera que les USA à priori. Mais je n'ai pas compris ce qui se passait après un signalement positif et confirmé. Qui est saisi ? Qui porte plainte ? N'est-ce pas un système de délation automatisé ? Et que se passe-t-il avec iCloud partagé ? Comment savoir qui est le détenteur des "photos"?
Une fois qu'Apple a 30 résultats positifs, les photos correspondantes sont vérifiées par des opérateurs humains et si la vérification est confirmée, l'identité de l'utilisateur ayant envoyé les photos (le propriétaire de l'iPhone sur lequel les 30 correspondances ont été identifiées par l'algorithme) est notifiéd d'une part à l'association de lutte contre la pedocriminalité (qui fournit la base de photos servant aux comparaisons) et d'autre part au FBI qui décidera s'il y a lieu de poursuivre cet individu (ou pas... comme dans le cas rapporté par Forbes en février 2020, où l'individu ayant envoyé des photos pedocriminelles par mail n'a finalement pas été inquiété et aucune charge n'a été retenue contre lui
https://www.forbes.com/sites/thomasbrewster/2020/02/11/how-apple-intercepts-and-reads-emails-when-it-finds-child-abuse/?sh=1404b7b31c29 )
@r e m y
« les photos correspondantes sont vérifiées »
Exprimé de cette façon cela peut laisser supposer qu’Apple regarde les photos. Ce qui ne sera pas le cas si j’ai bien compris.
Apple examine les comptes rendus des alertes et transmet le tout à des tiers qui auront autorité pour mener des examens plus approfondi.
Non ce contrôle est effectué par Apple avant transmission aux forces de l'ordre si les photos sont bien illégales.
Regardez le schéma fourni par Apple et repris dans l'article ci-après... la dernière étape est bien "Reviewed by Apple, report sent to NCMEC"
https://www.igen.fr/ios/2021/08/les-mesures-dapple-pour-lutter-contre-la-pedopornographie-ne-font-pas-lunanimite-au-sein-de-lentreprise-124485
Apple aurait mieux fait de faire comme Google ou Facebook : espionner directement toutes nos photos.
Ça n'a pas l'air de poser de problème quand c'est Google ou Facebook qui le font.
T'as rien compris mon pauvre...
Je suppose qu'ils se sont/serait gardé cela pour eux mais s'il est possible de modifier les images pour duper le système en trafiquant les images criminelles pour que le hash change, tout tombe à l'eau.
De toute façon avec ce bordel médiatique, tous les pédophilies qui avaient des photos sur leurs iPhones ont dû les retirer à l'heure qu'il est... Les chances que ce système soit efficace est réduit à zéro.
On sait quand ca va être mis en place? Ios 15?
Je suis pressé de voir les retombées de la chose.
« une image sans rapport avec la pédopornographie pourrait donc apparaitre comme suspecte en portant le même numéro qu'une image signalée comme pédopornographique »
La bonne question serait peut-être comme une image différente pourrait générer un hash identique et donc un NeuralHash identique, vu que chaque hash sont supposés être unique ? Donc en soit encore heureux que si deux photos ont le même hash qu’elles soient considérées comme suspectes. Ce qui n’est pas normal c’est que deux photos différentes puissent générer un hash identique.
@Jeckill13
Je cite Captain Obvious « Il y a un nombre bien plus petit de hash que de photo donc le cas existe forcément, c'est le principe du hash »
Mais en plus là le hash est calculé pour être le même pour un photo modifiée (filtre ? ajout de pixels ?) ce qui s'oppose à la notion de hachage cryptographique donc on ne connait pas a priori les effets sur la possibilité d'avoir des photos différentes de hash identique. En général, il faut plusieurs années d'études par la communauté scientifique pour en savoir plus. Enfin, même si certains ont réussi à fabriquer de telles photos, rien ne dit que cela peut arriver par hasard. C'est le cas avec MD5, on ne peut plus l'utiliser pour de la signature numérique car on sait fabriquer des messages de hash identiques mais on pourrait encore l'utiliser pour de la comparaison de fichiers pour la synchronisation car on n'a pas de problèmes avec des fichiers non trafiqués.
Pages