Lutte contre la pédopornographie : Apple rassure après une découverte inquiétante sur NeuralHash

Mickaël Bazoge |

Un développeur est parvenu à « ouvrir » l'algorithme NeuralHash, la technologie qui permet à Apple de comparer en local les images contenues dans la bibliothèque photos de l'iPhone avec celles d'une base de données d'images pédopornographiques. En l'occurrence, on ne parle pas de comparaisons directes entre les photos, mais de comparaisons entre des suites de chiffres (hash).

Asuhariet Ygvar a publié sur GitHub une version Python de NeuralHash, créée à grands renforts d'ingénierie inverse depuis d'anciennes versions d'iOS. Ce n'est pas à proprement parler l'algorithme spécifique développé par Apple, mais une mouture générique qui permet quand même de se faire une petite idée de son fonctionnement.

La mise en ligne de ce code a permis à plusieurs amateurs de bidouiller l'algo ; un d'entre eux explique avoir trouvé un procédé permettant de duper le réseau neuronal sur lequel Apple s'appuie pour réaliser le comparatif. Il semble donc que le système d'Apple puisse prendre des vessies pour des lanternes : une image sans rapport avec la pédopornographie pourrait donc apparaitre comme suspecte en portant le même numéro qu'une image signalée comme pédopornographique (« collision de hashes »).

Apple a néanmoins tenu à rassurer. Le constructeur a indiqué que la version analysée par les développeurs était générique, ce n'est pas la version finale qui sera livrée cet automne aux utilisateurs américains.

Le système de détection de photos pédophiles a pris en compte ce genre de cas : si une image génère un signalement NeuralHash, elle sera de nouveau vérifiée par un deuxième système dont les spécifications ne sont pas publiques. Ce dernier pourra donc identifier que la correspondance est une erreur, avant qu'elle soit transmise aux vérificateurs humains. Il faudra donc faire confiance à Apple sur ce coup là.

Par ailleurs, Craig Federighi a précisé il y a quelques jours qu'un minimum de 30 images correspondantes à celles de la base de données doivent être remontées par le système avant qu'une alerte rouge soit lancée chez Apple. Et ensuite, il y a encore une étape d'examen par des employés.

Craig Federighi reconnait qu

Craig Federighi reconnait qu'Apple a très mal communiqué sur les mesures de lutte contre la pédopornographie


avatar brucewayne | 

Ca fait beaucoup d’alertes pour ce système, ça montre déjà des failles qui peuvent être exploités.

Une petite machine arrière Apple ?

avatar r e m y | 

Apple rassure...
Non! Apple ESSAIE de rassurer (en ramant encore plus fort) 😔

D'autre part quand on lit "...ingénierie inverse depuis d'anciennes versions d'iOS", faut-il comprendre que ce truc est déjà présent sur les versions d'iOS antérieures à iOS15?

avatar Hossine | 

@r e m y

Ça transforme les images en une suite de nombre, donc même si c’est sur ton iPhone ça ne sert à rien pour l’instant.

avatar fousfous | 

@r e m y

Oui ce système est déjà présent depuis quelques temps sur iCloud photo et mail. Mais étonnamment tout le monde s'en foutait...

avatar r e m y | 

Merci de l'info.
Donc il aura suffit de quelques jours pour hacker le système. Même si Apple l'a renforcé, comme ils le disent, il faudra combien de temps pour le casser... 1 mois plein? 🤔
Avec Corellium qui appelle ouvertement à chercher des failles dans ce système, je comprends le soudain empressement d'Apple à faire appel malgré l'accord qu'ils avaient signé

avatar YetOneOtherGit | 

@r e m y

"je comprends le soudain empressement d'Apple à faire appel malgré l'accord qu'ils avaient signé "

Tu comprends surtout pas grand chose à la procédure et à la nature de l’accord et sombre merveilleusement dans le procès d’intentions fantasmatique 😄

avatar pelipa91 | 

@r e m y

Il n’a pas « hack » le système mais régénéré le code à partir du binaire.
Rien à voir.
Pleins d’applications font ça et de sociétés.
Ça s’appelle du reverse engineering

avatar Tomtomrider | 

@fousfous

Euh, vous tenez ça d’où ?

avatar Dead head | 

@r e m y

Tout à fait d'accord. Le titre n'est pas le bon, Apple ne rassure pas mais essaye de rassurer, ce qui n'est pas la même chose.

avatar Mickaël Bazoge | 
Mes titres sont déjà trop longs…
avatar YetOneOtherGit | 

@Dead head

"Apple ne rassure pas mais essaye de rassurer"

Encore faut-il être inquiété ce qui visiblement concerne une poignée de professionnels de l’offuscation qui doivent bien trouver du grain à moudre pour exister.

Une tempête dans un verre d’eau absolument ridicule au regard de la masse d’atteinte aux enjeux de confidentialité du temps.

Que ce soit sur les moyens à la disposition des états légitimes mais pire encore de ceux à la disposition d’intérêts privées dont l’ensemble du business repose sur la valorisation de la vie privée.

Quand ceux qui poussent de cris d'orfraies ici attaqueront les graves dangers pour les démocratie occidentale que représentent Google, Fb, Twitter and Co on les prendra un peu au sérieux.

Un point de fixation facile et imbécile pour éviter d’essayer d’adresser les véritables enjeux.

avatar David Finder | 

@YetOneOtherGit

Je te rejoins complètement sur ce que tu dis !
Je serais d’ailleurs bien curieux de savoir combien, parmi les personnes qui s’offusquent de cette mesure d’Apple, ont un compte Google/Facebook/Instagram/WhatsApp /Twitter/Dropbox & Co…

Qu’on rigole un peu quand même 🤣 (ou pas).

avatar v1nce29 | 

Depuis 14.3

avatar Oby | 

Je pense et j’espère qu’ils feront marche arrière

avatar armandgz123 | 

@Oby

+1

avatar Chris K | 

Je ne sais pas si c’est prévu, mais Apple aurait peut-être tout intérêt à rendre public tous les algorithmes qui sont à l’œuvre dans cette fonction.

avatar ab75 | 

Je ne vois pas en quoi Apple rassure….
La question de fond demeure: une société privée, Apple, s’arroge des droits de « flicage » directement sur nos téléphones alors qu’elle n’a aucun mandat électif ou reçu aucun mandat législatif pour le faire et en plus sans requérir l’accord de ses clients…
C’est la fin de la vie privée.
J’attends toujours une réaction de nos politiques français. Peut être sera ce la CNIL qui interviendra en dernier recours!!
Apparemment cela laisse indifférent. Triste époque

avatar Ormagan | 

@ab75

Donc tu es contre le flicage des pédophiles ?

avatar bibi81 | 

Donc tu es contre le flicage des pédophiles ?

Ah parce que tous les possesseurs d'iPhone sont des pédophiles ?

avatar Sindanárië | 

@Ormagan

"Donc tu es contre le flicage des pédophiles ?"

Apple n’est pas une autorité judiciaire ou administrative officielle. Elle n’a pas à fliquer.

avatar PomBreizh | 

@Ormagan

Par une société privée… oui
Tout comme je suis contre les relevés d’excès de vitesse par des radars mobiles embarqués dans des voitures privées (non conduites par des agents des forces de l’ordre)… mais c’est passé aussi!

avatar Chris K | 

@ab75

Le « truc » c’est que cette société privée a aussi des obligations, parmi lesquelles - peut-être - que ses serveurs ne servent pas à héberger des contenus illégaux.

avatar r e m y | 

Ses serveurs elle en vérifie déjà le,contenu depuis plusieurs années comme ils l'ont plusieurs fois expliqué (avec le même procédé de hash et en s'appuyant sur la même base CSAM)

avatar PomBreizh | 

@r e m y

Effectivement, je pense qu’il s’agit juste d’une nouvelle solution pour distribuer les calculs (hash, comparaison, identification) en local, sur l’ensemble des terminaux, plutôt que sur les serveurs centraux, s’épargnant par la même le coût de décryptage des clichés.

avatar r e m y | 

Apple ayant la clé, le coût de décryptage des photothèques iCloud est nul.

avatar IceWizard | 

@r e m y

« Apple ayant la clé, le coût de décryptage des photothèques iCloud est nul. « 

Pas clair cette histoire. Apple n’a t’elle pas annoncée ne pas avoir les clés, stockées uniquement sur les devices ?

avatar r e m y | 

Apple n'a pas la clé des "devices". Ce qui est chiffré sur l'iPhone ne peut pas être déchiffré par Apple sans connaître le code de déverrouillage.
Par contre pour ce qui est sur leur serveur,
- certaines données sont chiffrées de bout en bout (et Apple précise que personne d'autre que l'utilisateur n'y a accès, pas meme Apple),
- certaines donnees sont "simplement chiffrées" (Apple peut les déchiffrer, c'est le cas des photos)
- certaines données sont stockées en clair (comme les e-mails)

https://support.apple.com/fr-fr/HT202303

avatar David Finder | 

@r e m y

Ce qui est étrange dans ton discours, c’est que tu choisis de croire ce qui est chiffré par Apple (donc tu les crois sur parole parce qu’il y a une fiche technique publiée), mais tu ne crois pas qu’ils font tout leur possible pour préserver la vie privée des utilisateurs concernant cette nouvelle mesure (qui, si tu vis hors US, ne te concerne pas du tout et n’est sans doute pas prête de te concerner…).
Ça ne serait pas un peu contradictoire ? C’est une question sérieuse hein, pas une attaque.
A moins que ton unique souci soit le fait qu’avec cette nouvelle fonction, certains pourraient croire que nous sommes tous présumés coupables.

?

avatar webHAL1 | 

@David Finder :
« qui, si tu vis hors US, ne te concerne pas du tout et n’est sans doute pas prête de te concerner… »

Le mécanisme qu'Apple va mettre en place concernera l'intégralité des possesseurs d'un iPhone tournant avec iOS 15, version du système qui sera rapidement incontournable.

C'est incorrect de dire que cela ne concerne pas les personnes vivant en-dehors des États-Unis. Il s'agit d'une porte dérobée installée au coeur même du système, sur l'appareil de l'utilisateur, et prête à être exploitée par les gouvernements peu scrupuleux et les pirates informatiques. L'article que nous commentons en ce moment illustre bien les risques d'une telle approche pour la vie privée des utilisateurs.

La question n'est pas de "croire qu'Apple fait tout son possible pour préserver la vie privée des utilisateurs concernant cette nouvelle mesure", mais bien le fait que l'approche choisie par la Pomme pour ce mécanisme, exécuté en local, représente un danger sérieux pour la vie privée de tous les possesseurs d'un iPhone tournant avec iOS 15 (qu'Apple pré-suppose coupables de détenir des images pédo-pornographiques et qu'elle se doit donc de surveiller), pour des résultats qui ne sont absolument pas démontrés à ce stade.

avatar jazz678 | 

@webHAL1

« qu'Apple pré-suppose coupables de détenir des images pédo-pornographiques et qu'elle se doit donc de surveiller), »

😳

Encore un de tes raccourcis capillotractés

avatar r e m y | 

Je ne choisis pas de croire ceci ou cela. Je prends les éléments factuels à notre disposition qui sont ce que publie Apple, ce que dis Apple (et je les crois sincères quand ils disent vouloir préserver le strict cadre qu'ils se sont auto-fixé pour cette surveillance), mais on sait aussi qu'Apple n'est pas au-dessus des lois et que nombreux sont les Pays qui pourront imposer à Apple de s'assoir sur leur volonté pour élargir cette surveillance (l'exemple chinois est édifiant).

D'autre part, tout en croyant ce que publie Apple, je pense que mettre en place un dispositif de surveillance dans 1 à 2 milliards d'appareils constitue un dangereux précédent.
Si on accepte le déploiement de ce dispositif, pourquoi demain ne pas accepter qu'un autre algorithme, en local, surveille les conversations téléphoniques (pour détecter des listes de mots clés caractéristiques d'activité terroriste ou de traffic de drogue), ou la consultation des sites internet, ou que sais-je encore.

Il serait intéressant qu'Apple explique pourquoi ils ont choisi ce sujet de la pedocriminalité et pas un autre... et ce qu'ils prévoient comme autre thème de surveillance pour les prochaines versions d'iOS.

avatar David Finder | 

@r e m y

« Je ne choisis pas de croire ceci ou cela. Je prends les éléments factuels à notre disposition qui sont ce que publie Apple, ce que dis Apple (et je les crois sincères quand ils disent vouloir préserver le strict cadre qu'ils se sont auto-fixé pour cette surveillance), mais on sait aussi qu'Apple n'est pas au-dessus des lois et que nombreux sont les Pays qui pourront imposer à Apple de s'assoir sur leur volonté pour élargir cette surveillance. »

Apple a pourtant expliqué que leur algorithme était impossible à utiliser pour en faire autre chose. Mais je comprends la crainte.

« D'autre part, tout en croyant ce que publie Apple, je pense que mettre en place un dispositif de surveillance dans 1 à 2 milliards d'appareils constitue un dangereux précédent. »

Pareil qu’au dessus : Apple insiste sur le fait que l’algorithme actuel est inutilisable dans d’autres circonstances. Perso, j’y crois, pas toi ?

« Si on accepte le déploiement de ce dispositif, pourquoi demain ne pas accepter qu'un autre algorithme, en local, surveille les conversations téléphoniques (pour détecter des listes de mots clés caractéristiques d'activité terroriste ou de traffic de drogue). »

Mais là, ce n’est plus du tout dans les valeurs d’Apple sur la vie privée, auxquelles tu croies, et moi aussi. Donc ?

« Il serait intéressant qu'Apple explique pourquoi ils ont choisi ce sujet de la pedocriminalité et pas un autre... et ce qu'ils prévoient comme autre thème de surveillance pour les prochaines versions d'iOS. »

Je suis d’accord avec toi. Mais peut-être est-ce simplement parce que ça ne va peut-être pas être une « réussite » ? Dans le sens où, avec toute cette com, j’imagine que certains de ces malades vont jeter leur iPhone.
Et cela reste une cause juste, les enfants sont innocents par définition. Il faut donc les protéger.

En ce qui concerne le terrorisme, Apple a tout de même tenu tête au FBI dans l’affaire de San Bernardino. On pourrait donc penser, si l’on choisit de croire en la « sincérité » d’Apple en matière de vie privée, qu’ils vont s’arrêter là.

C’est un vaste débat. Je me pose des questions aussi… mais j’ai, pour l’instant en tout cas, confiance en Apple. Je me trompe peut-être, je suis peut-être naïf… on verra la suite.

Merci pour tes réponses en tout cas.

avatar r e m y | 

L'algorithme, il suffit de lui donner une autre base de "signatures" pour qu'il détecte d'autres types de photos. Chez ce cher Orban, en Europe, les nouvelles lois anti LGBT assimilent à de la pedocriminalité la "promotion" de l'homosexualité. Le gouvernement pourra imposer sa propre base de photos "criminelles" plutôt que d'accepter une base constituée par une association américaine. Apple a déjà dit que l'extension hors USA se ferait en conformité avec les lois nationales.

Les valeurs d'Apple se satisfont du dispositif proposé pour cette traque des pedocriminels (algorithme local, personne n'accédant aux données vérifiées par l'algorithme sauf au-delà d'un certain seuil de concordances...), elles peuvent donc se satisfaire d'autres algorithmes vérifiant en local d'autres usages de l'iPhone (conversations, navigation internet...)

Concernant l'affaire de San Bernardino, Apple a tenu tête au FBI tout simplement parce qu'ils n'avaient effectivement aucun moyen d'accéder au contenu de l'iPhone sans le mot de passe !
Là c'est très différent, on parle de données auxquelles Apple se donne les moyens d'accéder, directement au sein d'iOS. Ils ne peuvent pas s'opposer à changer la base de signatures injectée dans les iPhones et ensuite ne peuvent pas non plus s'opposer à communiquer les "preuves" que leur algorithme leur remontera.

Moi ce n'est pas tant Apple que je crains (meme si on entre dans le "big Apple is a watching you" que la pub du lancement du 1er Macintosh dénonçait) que ce que certains gouvernements leur imposeront. Ils ont ouvert une boîte de Pandore qu'ils auront beaucoup de mal à refermer.

avatar David Finder | 

@r e m y

"Le gouvernement pourra imposer sa propre base de photos "criminelles" plutôt que d'accepter une base constituée par une association américaine. Apple a déjà dit que l'extension hors USA se ferait en conformité avec les lois nationales."

Je ne cite que cette partie de ton message, car pour moi le reste est très clair et je suis d’accord.

Pour la partie que je cite, donc, j’ai compris qu’Apple lancerait le système de reconnaissance des photos à caractères pédocriminelles hors des USA, en conformité avec les lois nationales, mais comme une solution « clé en mains », comme un tout que l’on ne peut pas changer…
Suite aux levés de boucliers, Federighi a bien précisé, et il a insisté, que cette solution (globale et donc celle lancée aux US comme ailleurs, plus tard, peut-être) ne pouvait pas servir à autre chose que ce pour quoi elle est conçue, lois nationales ou pas.
J’entends par là qu’Apple se réserve le droit de ne pas lancer la fonction dans des pays qui voudraient la détourner. C’est en tout cas ce que j’espère, là aussi peut-être naïvement.

avatar bibi81 | 

Le « truc » c’est que cette société privée a aussi des obligations, parmi lesquelles - peut-être - que ses serveurs ne servent pas à héberger des contenus illégaux.

Non, un hébergeur n'a pas d'obligation de contrôler la légalité de ce qu'il héberge.

avatar Lemon19 | 

@ab75

La CNIL ne peut pas être saisie d’un sujet qui ne concerne que les US.

avatar YetOneOtherGit | 

@ab75

"C’est la fin de la vie privée. "

Elle est fini depuis longtemps sauf à s’astreindre à une ascèse numérique extrême.

Tu n’as sans doute pas idée de ce que savent de toi une masse incroyable d’entreprises privées au delà même des Google et FB.

Là masse de tes actes quotidiens laissant des traces numériques exploitables est colossale.

Et je ne parle pas là d’état légitime mais d’entreprise privée.

Les cris d’orfraies de certains m’amusent tant ils sont irrationnels et proviennent de personnes exposants bien plus de leurs vie sans le savoir que ne le permettra jamais le système très véniel présenté par Apple.

Cela me fait penser aux théories des antivax du café du commerce défendue en fumant cigarette sur cigarette et en engloutissants des litres d’alcool.

L’humain est décidément un animal irrationnel 🤯

avatar Chris K | 

@YetOneOtherGit

« L’humain est décidément un animal irrationnel »

Le cerveau est ainsi fait. Penser contre son cerveau (comme disait l’autre) n’est pas une chose aisée.

avatar IceWizard | 

@YetOneOtherGit

« L’humain est décidément un animal irrationnel « 

Ça existe un animal rationnel ?

avatar mne | 

@ab75

Si on veut aller dans ce sens là, Apple a un « mandat » pour chacun de ses clients
C’est une démocratie personnalisé, l’entreprise a du pouvoir sur ces clients et pas les autres c’est déjà ça. Le rêve de tous les abstentionnistes. Vous pouvez toujours arrêter d’être client

avatar Sindanárië | 

@ab75

"C’est la fin de la vie privée. "

Voilà ! Une vie privée, privée de tout 😈

avatar sambucus | 

@ab75

Je partage aussi cet avis d’illégitimité d’Apple. Je suis intrigué par le fait que l’on discute beaucoup « technique », mais peu des questions de droit. Comme l’a dit l’un de nous « tout le monde s’en fout » ?

Pour un constructeur de matériel de communication interpersonnelle (téléphonie, chat, courriel, partage de document…), c’est le principe du « secret postal » qui doit prévaloir, faute de quoi l’intimité n’existe plus, ce qui peut avoir des conséquences sur la santé. Protéger la vie privée est donc un devoir des fabricants.

« Fliquer », surveiller, sanctionner relève de l’action de « l’état de droit ». La pédopornographie n’est rien d’autre que de la criminalité relevant du droit pénal, en plus d’être une criminalité marginale — pas pour les victimes bien sûr, mais en comparaison avec d’autres formes de délinquances, telles que les mafias, les extorsions informatiques, la désinformation pour déstabiliser des populations, etc.

Le projet d’Apple est par conséquent illégitime et doit être combattu. Dans plusieurs pays de notre continent, des juristes, des journalistes, des politiciens réagissent en saisissant les autorités de leurs pays. J’ai lu que le gouvernement allemand a donné suite à cette demande.

J’espère que l’Union européenne et les pays de l’AELE vont s’unir pour faire respecter l’état de droit et contrer la volonté d’une entreprise privée qui semble possible d’imposer ce que sa morale croit juste. C’est toute la question du droit à la vie privée et à l’équité qui est posée.

avatar elitelazor | 

Je comprends définitivement pas. Ça fait un ramdam dans la presse par conséquent les criminels vont savoir qu’ils ne sont plus atteignables en désactivant iCloud Photo donc le contrôle va déposer sur 99,9..% d’honnêtes gens alors à quoi bon au final ?

avatar Chris K | 

@elitelazor

Justement, cela peut fermer un canal d’hébergement de contenu illicite. Peut être qu’une goutte dans ce vaste monde numérique mais si tout le monde s’y met…

avatar elitelazor | 

@Chris K

Ok C’est louable mais du coup quand le canal sera « nettoyé » ils retireront le contrôle ? C’est sans fin !

avatar v1nce29 | 

> Ok C’est louable mais du coup quand le canal sera « nettoyé » ils retireront le contrôle ?

Non on contrôlera autre chose : le terrorisme, le banditisme, le téléchargement illégal, l'appartenance à un syndicat...
Il y a toujours des trucs à surveiller

avatar webHAL1 | 

@Chris K :

Et bien, si "tout le monde s'y met", on se retrouvera tous surveillé en permanence par des sociétés privées qui partent du principe que chacun d'entre nous possède et potentiellement échange du contenu pédo-pornographique et que c'est à elles d'agir, et non pas à des services étatiques.

D'ailleurs, il n'y a aucune raison de ne pas utiliser toutes les possibilités qu'offre la technologie. Ce qu'Apple va faire peut et doit n'être qu'une première étape. Imaginez combien de crimes pourraient être évités, combien de torts pourraient être redressés, si simplement l'ensemble de nos appareils contenant un peu d'électronique nous surveillaient en permanence, et que les entreprises privées qui les fabriquent se chargeaient (bénévolement, cela va de soi) d'exploiter cette surveillance de manière à améliorer le monde.

Ça fait rêver, non ?

avatar YetOneOtherGit | 

@elitelazor

"Ça fait un ramdam dans la presse"

Il faut rester raisonnable : juste un très vague bruit de fond touchant fort peu de monde qui sera très vite chassé par d’autres informations.

avatar elitelazor | 

@YetOneOtherGit

Tu penses pas que tout ces immondes personnages ne sont pas au taquet de ce genre d’info ?

avatar YetOneOtherGit | 

@elitelazor

"Tu penses pas que tout ces immondes personnages ne sont pas au taquet de ce genre d’info ?"

Pour avoir participé comme consultant à une assez large opération s’appuyant sur un avatar 3D, la relative naïveté de personne motivée par des pulsions est assez surprenante et le niveau de précaution souvent assez faibles pour nombre d’entre eux de l’aveux même des spécialistes d’interpol.

https://www.tdh.ch/fr/projets/sweetie-approche-novatrice-stopper-tourisme-pedophile-webcam

Pages

CONNEXION UTILISATEUR