Apple l'assure, les gouvernements ne pourront pas abuser du nouveau mécanisme de lutte contre la pédopornographie
Apple poursuit son tour des médias (anglophones) pour faire accepter ses mesures de lutte contre la pédopornographie. Erik Neuenschwander, le patron des technologies de confidentialité, est à la manœuvre dans une interview chez TechCrunch. Il tente d'apaiser les craintes de tous ceux qui redoutent que le système de détection des photos CSAM (Child Sexual Abuse Material) puisse être exploité par des gouvernements peu soucieux des libertés publiques.
Les nouveaux systèmes d'Apple pour lutter contre la pédopornographie inquiètent
Le dirigeant rappelle tout d'abord que seuls les États-Unis sont concernés à l'heure actuelle. Selon lui, les lois américaines ne permettent pas au gouvernement d'imposer à Apple de détecter des images sur les appareils des utilisateurs de ses produits, autres que des images pédopornographiques. Les avocats pourraient bien s'emparer de cette question légale le jour où le FBI aura besoin d'un coup de main du constructeur pour repérer des terroristes par exemple.
Apple a indiqué en fin de semaine dernière que son système de détection des images CSAM pourrait se déployer en dehors des États-Unis, en fonction des législations locales. Problème : on a vu que le constructeur n'avait aucun mal à plier dans tous les sens ses beaux discours devant la réalité des faits, comme en Chine.
Erik Neuenschwander explique que le système intègre un certain nombre de protections qui n'en font pas le meilleur outil pour « identifier des individus qui possèdent des images particulièrement répréhensibles ». Cet automne, iOS va comparer des suites de chiffres hachés d'images pédopornographiques provenant d'une base de données du National Center for Missing and Exploited Children (NCMEC), avec les photos à téléverser vers iCloud Photos (elles aussi ont été hachées avec l'algorithme NeuralHash). Cette base de données sera intégrée à même le système d'exploitation.
Il est impossible pour Apple de cibler des utilisateurs individuels, puisque iOS est un système d'exploitation global : tout le monde reçoit le même paquet. Le système du constructeur exige aussi qu'un certain nombre de correspondances soient enregistrées avant de lancer une procédure d'examen par un humain. « Essayer de rechercher une seule image à partir de l'appareil d'une personne ou d'un ensemble d'appareils ne fonctionnera pas, car le système ne permet pas à Apple de prendre connaissance des photos individuelles stockées dans ces appareils ».
L'examen manuel est le dernier garde-fou mis en avant par Neuenschwander, il intervient lorsque le mécanisme a détecté qu'un seuil d'images CSAM est dépassé (Apple ne précise pas le nombre1). Si un gouvernement voulait abuser du système en intégrant à sa base de données des hashes de photos qui n'ont rien à voir avec des images pédopornographiques, il lui faudra passer au-dessus de pas mal d'obstacles, souligne-t-il.
Et il y a toujours la possibilité de désactiver iCloud Photos sur l'appareil. Dans ce cas, le processus NeuralHash ne se lancera pas, il ne générera aucun « bon de sécurité » qui pourrait allumer une alerte orange chez Apple (et pour cause, dans ce cas les photos ne sont pas téléversées sur les serveurs du constructeur).
L'été où l'iPhone est devenu une passoire de sécurité qui vous flique
-
Pourquoi plusieurs correspondances plutôt qu'une seule ? « Nous voulons nous assurer que les rapports que nous faisons au NCMEC sont exploitables », explique Neuenschwander. « Une des notions de tous les systèmes est qu'il existe une certaine incertitude pour savoir si cette image correspond ou pas. Le seuil nous permet d'atteindre cet objectif, nous nous attendons à un taux de faux rapports pour l'examen d'un compte de un pour mille milliards par an » ↩︎
Pour lancer cette fonctionnalité, Apple devait s’attendre à une levée de boucliers… Je suppose donc que la vie privée des possesseurs d’iPhone est bien protégée, comme ils l’affirment, ils savent qu’ils sont attendus au tournant…
@man0
Je suis du même avis, mais je me pose surtout la question de l’utilité d’une telle mesure.
Je veux dire, avec tout le foin qu’on en fait, ça me parait évident que si des mecs se baladent avec ce genre de contenu sur leur iPhone ET dans leur photothèque iCloud (parceque sans ça, la fonctionnalité n’existe pas), ils auront tout viré fissa bien avant que la mesure ne rentre en fonction.
Du coup, c’est quoi l’intérêt d’Apple là-dedans ? Faire parler (en mal) de leur marque, en sachant que beaucoup vont considérer ça comme une backdoor dans leur appareil, que d’autres vont s’inquiéter de la possibilité de détourner une telle fonction, et tout ça pour un résultat nul vu que les mecs ciblés n’ont qu’à désactiver un switch pour passer au travers du filet ?
J’ai vraiment du mal à comprendre qui y gagne quoi que ce soit là-dedans.
@Rez2a
Je suis juriste et je subodore qu'Apple ne veut pas un jour se retrouver poursuivi pour avoir hébergé des photos pédocriminelles (peut-être y a-t-il des discussions au Congrès US dont les lobbyistes d'Apple ont eu vent). La Pomme prend donc les devants en mettant en place un dispositif qui la dédouane au cas où.
Et cela lui permet aussi de rappeler que, hors le cas de la pédocriminalité, on ne saurait lui reprocher d'être la complice de ses clients.
@Cyrille50
Exactement!
@Cyrille50
"Je suis juriste et je subodore qu'Apple ne veut pas un jour se retrouver poursuivi pour avoir hébergé des photos pédocriminelles (peut-être y a-t-il des discussions au Congrès US dont les lobbyistes d'Apple ont eu vent). La Pomme prend donc les devants en mettant en place un dispositif qui la dédouane au cas où.
Et cela lui permet aussi de rappeler que, hors le cas de la pédocriminalité, on ne saurait lui reprocher d'être la complice de ses clients."
Je tentais une premier approche l’autre jour où Apple ajoute un joli trophee a son tableau de chasse a l’echelle mondiale: elle se dedouane de ce fleau quand on vient la brancher dessus (j’ai aidé), elle est un sauveur car elle fait une bonne action (personne ne supporte ca), elle n’heberge pas ce genre de contenu sur ses serveurs (aucun risque penal), sa methode est une avancee niveau protection de la vie privee (systeme d’analyse en local, et son neural engine), elle ameliore forcement son image, face a la concurrence y compris (avant qu’ils ne copient - tiens Google a deja fait une timide annonce), et quand ça sera adopté davantage: jackpoooot. On notera avec insistance qu’Apple sort cette news en dehors de tout context de communication ordinaire (pas d’event type wwdc, pas de resultats trimestriels, pas d’annonce materielle, rien). Meme le calendrier est pensé.
@Cyrille50
« Je suis juriste et je subodore qu'Apple ne veut pas un jour se retrouver poursuivi pour avoir hébergé des photos pédocriminelles «
C’est aussi ce que j’ai pensé, quand j’ai entendu parler de ce nouveau mécanisme.
Un hébergeur n'est jamais tenu responsable du contenu qu'il héberge. Twitter, Facebook et autres se cachent derrière leur statut d'hébergeur pour ne pas avoir à faire le tri...
@Cyrille50 :
« Je suis juriste et je subodore qu'Apple ne veut pas un jour se retrouver poursuivi pour avoir hébergé des photos pédocriminelles (peut-être y a-t-il des discussions au Congrès US dont les lobbyistes d'Apple ont eu vent). La Pomme prend donc les devants en mettant en place un dispositif qui la dédouane au cas où. »
Si c'est le cas, alors Apple aurait nettement mieux fait de mettre en place ce mécanisme de détection d'images pédo-pornographiques au niveau de ses propres serveurs. De cette manière, les chercheurs en sécurité qui s'inquiètent de l'approche choisie et ont publié une lettre ouverte (https://appleprivacyletter.com) n'y auraient pas vu de problème.
Sauf qu'elle ne l'a pas fait. Elle a choisi un mécanisme fonctionnant en local, présent dans tous les iPhone tournant avec iOS 15. Cela revient à doter chaque appareil d'un mouchard, qui pourra être aussi bien détourné par des gouvernements peu scrupuleux que piraté par des personnes/états malveillants. La récente affaire Pegasus, qui a démontré qu'un iPhone était un appareil très facilement piratable, aucune intervention de l'utilisateur n'étant nécessaire, illustre le risque immense que cette approche représente.
On se croirait dans un régime totalitaire ave Apple, on impose mais on ne donne pas le choix à l'utilisateur d'activer ce scan ou pas.
@Levrai
Si, tu peux ne pas utiliser iCloud.
Ils proposent un service, tu peux ou ne pas y souscrire..
Tu peux aussi utiliser ton iPhone sans compte Apple.
A bon , j'ai le droit de refuser cette initiative ? La réponse est non, elle se fera avec ou sans ton consentement via la back door Apple.
@Levrai
il n’y a aucun backdoor. car tout est en local sans entree externe
vous pouvez desactiver icloud pour le scan exterieur
pouvoir debloquer le systeme revient à dire que l’on s’autorise à desactiver les radars automatiques sur l’autoroute quand on passe, ca ruine l’interet meme du truc
Redescend de ton nuage, il a aura forcément une backdoor mais je comprends que ça doit être dur à digérer après les années de baratins d' Apple sur le respect de la vie privée.
@Levrai
@Levrai
Elle servirait à quoi cette backdoor?
@Levrai
« Redescend de ton nuage, il a aura forcément une backdoor mais je comprends que ça doit être dur à digérer après les années de baratins d' Apple sur le respect de la vie privée. »
Tu ne devrais pas croire aveuglément ce que raconte ta figurine de Spock, mais on peut comprendre qu’une habitude de plusieurs années soit difficile à combattre ..
@Levrai
Il n'y a pas de backdoor. Et il suffit de ne pas utiliser iCloud.
Dans le cas d’un déploiement dans d’autres pays, j’aimerai bien savoir qui va vérifier manuellement les images en cas de détection ?
Ils sont bien gentils chez Apple, mais à mon avis rien que cette partie pourrait se heurter à des murs législatifs dans certains pays.
@Chris K
Les images à vérifier manuellement sont connues et présentes dans une bdd. N’importe qui peut les regarder sans risque, ces photos ne t’appartiennent pas et ne contiennent rien de personnel, tu les a téléchargées ailleurs.
Non, si les images doivent être vérifiées manuellement par des opérateurs humains, c'est justement parce qu'il peut y avoir des erreurs dans le travail de l'algorithme.
@r e m y
Les erreurs sont peut être techniquement possibles mais si elles existent elles seront à mon avis super rares. Un hash pour identifier un doublon de photo peut ne pas reconnaitre une photo retouchée mais un faux positif c’est quand même peu probable (ou alors le gars qui a codé l’algo est une quiche, je vois pas Apple confier ça à un boulet incompétent mais j’idéalise peut être ). Et je vois pas Apple mettre une armada de gens payes pour regarder des photos h24 dans le monde en cas de déploiement mondial. Et d’après ce que j’ai lu, l’humain n’est pas la pour verifier/valider la photo mais pour déclencher la notification aux autorités. Genre t’as une photo ça passe, t’en a 1To ça casse. Le fameux threshold qui n’est pas détaillé, c’est le nb de photos. Je ne vois pas dans les schémas Apple d’intervention humain sur l’analyse de la photo. C’est pas de la détection d’image, c’est une comparaison de hash.
@cybercooll
👍🏼
@Paquito06
Je me sens moins seul.
Tu comprends toi pourquoi tout le monde parle de ces gens d’Apple qui vont regarder tes photos? Je vois ça nulle part dans les schémas. C’est une erreur de trad sur le « threshold of matches »? Le dessin me paraît clair pourtant.
Tu dépasses la limite en nb de photo il y a relecture et déclaration.
@cybercooll
Tout le monde prend peur et le raccourci, les amalgames sont vite etablis entre Apple et la violation de vie privee, dictature, 1984 et compagnie. Y en a pas un qui s’est penché sur la question en lisant tout d’abord l’annonce d’Apple, mais surtout la documentation Apple:
https://www.apple.com/child-safety/
Alors ouais y a une bonne centaines de pages a lire (en anglais), et un petit effort de comprehension, mais raler est bien plus facile.
Apple n’a pas besoin de communiquer sur le threshold du nombre de photos (on va pas non plus commencer a aider les malandrins a contourner le systeme). J’espere qu’il est faible - tu sauvegardes dans ton Cloud une photo flagguee illegale, c’est balot, comme tu dis, si y en a qq unes y a benefice du doute, mais si le mec se ballade avec des Go, y a un vrai souci. Tout ca c’est deja pris en compte par Apple, ses ingé et leur algorithme, faut pas les prendre pour des billes. Combien ont reussi a contourner Face ID, Touch ID, Apple Pay? Ils doivent plancher dessus depuis des annees, ils vont pas balancer un truc non fiable, communiquer dessus, pour le retirer car ca fonctionne pas. La seule chose qu’ils ignorent encore, c’est combien de mecs ils vont choper et l’espace disque qu’ils vont prochainement liberer 😅
@Paquito06
Je me sens moins seul 😙
@cybercooll
Si on déverrouille une photo c’est parce qu’un système informatique a tilter. À priori il faut un contrôle humain pour vérifier que le système a vu juste.
En dehors des US, je me demande quelle autorité aurait Apple pour « vérifier » ce contenu. Est-il besoin que ce vérificateur soit assermenté (ou un truc du genre) ?
@Chris K
Apple ne vérifie pas. Le système voit juste. Si tu as plusieurs Go de photos pedo reconnues, tu les as, il n’y a rien à vérifier. Apple transmet le dossier à un organisme qui saura quoi en faire, cette transmission est faite part une personne. J’avoue ne pas trop comprendre à quoi sert cette étape de transmission manuelle. Je pense que c’etait pour faire croire aux gens que ça reste humain et les rassurer, alors qu’en réalité ça a juste donné l’impression qu’il pouvait y avoir des erreurs. Le marketing s’est bien planté sur ce point.
@cybercooll
Effectivement je ne retrouve pas l’info indiquant qu’Apple vérifiait les photos en cas d’alerte. Visiblement Apple se contenterait de faire un examen des rapports d’alerte.
Effectivement je ne retrouve pas l’info indiquant qu’Apple vérifiait les photos en cas d’alerte.
C'est toute la beauté du truc, si l'algo est foireux tu peux avoir les flics qui débarquent chez toi...
@bibi81
Je crois pas car les photos seront de toute façon visualisée par une autorité.
Sinon le système ne tiendrait pas debout : à la moindre erreur sans vérification visuelle Apple se colle un procès et n’aura plus qu’à suspendre cette fonction.
@bibi81
N’importe quoi. Même un étudiant bac+1 en info sait coder ça avec un taux d’erreur de 0%.
Ton navigateur se sert de hash pour comparer le cache aux ressources côté serveur depuis des années, un hash est infaillible. La difficulté c’est de pas passer au travers des variantes d’une image (crop, rotation, manipulation des couleurs/luminosité,…)
@cybercooll
Infaillible?
Les collisions de hash, ça existe. C'est même, par essence, inévitable.
Les erreurs humaines résultant en l'insertion de n'importe quoi dans une base de données, ou d'images, ça existe également.
N'importe qui ayant fini ses études d'info et ayant mis les pieds dans une entreprise le sait.
C'est d'ailleurs très probablement l'une de ces deux causes qui fait qu'un des hash NCMEC ou d'une des agences de forces l'ordre américaine match avec la photo d'un homme habillé tenant un singe: https://www.hackerfactor.com/blog/index.php?/archives/929-One-Bad-Apple.html
@ElFitz
Une erreur toutes les 3 milliards de photos oui je te l’accorde. Mais ça va pas t’envoyer en prison à la moindre photo qui match. Plus de 100 erreurs sur la même photothèque j’y crois pas. Ou alors ce sont des incompétents. Tu ne peux pas te permettre de mettre à une telle échelle un système qui fait beaucoup de faux positifs, ce n’est pas gerable à ce niveau de volumétrie. Après, l’inconscience des dev me fait souvent frémir, tout est possible.
« Selon lui, les lois américaines ne permettent pas au gouvernement d'imposer à Apple de détecter des images sur les appareils des utilisateurs de ses produits »
Moui… quand on sait que l’un des sport national là-bas c’est l’interprétation alambiquée des textes de lois…
@Chris K
C'est ce que j'avais en tête aussi.
@Chris K
C’est un question de PRISM 😇
Moi je trouve la démarche intéressante n’étant pas moi même pedophile. Toutefois si j’en étais un je me dis que finalement il me suffirait de désactiver iCloud Photos pour échapper aux radars. Et je pense sincèrement que les personnes malades de ce type de tare n’utilisent pas iCloud pour stocker leurs photos de criminels !! Me trompe-je ?
@tempest
C’est clair que je vois mal une personne pratiquant l’échange de photos d’enfants nue ne soit pas au courant qu’il ne faut pas utiliser les service de stockage en ligne de photos.
@tempest
Macg l’a répété plusieurs fois dans ces colonnes. Le processus de vérification de nos images se fait en deux étapes:
- Une étape de vérification de nos photos en local
- Une autre étape de vérification des photos sauvegardées sur le cloud
Même si le processus diffère un peu entre les deux. Mais qu’on le veuille ou non Apple procédera à la vérification de nos photos. Donc je ne comprends pas trop les propos de certains disant qu’il suffit juste de ne pas stocker ces photos sur le cloud Apple!!!
@Vetsa
Non. Seules les photos transitant via iCloud font l’objet d’une vérification.
Les photos envoyées par e-mail sont déjà vérifiées par Apple selon le même procédé depuis plusieurs années. Les emails concernés sont bloqués et les expéditeurs signalés au FBI
https://www.forbes.com/sites/thomasbrewster/2020/02/11/how-apple-intercepts-and-reads-emails-when-it-finds-child-abuse/?sh=1cee78431c29
@Vetsa
C’est peut être ce qu’a dit macg mais ce n’est pas ce qu’a dit Apple. Ou as tu vu cette vérification pas Apple dans le schéma?
@tempest
Heureux de savoir que tu n'es pas un pédophile. Je dormirai bien
Apple l’assure … et la marmotte elle emballe le chocolat aussi 😊
Hahahahaha 👍🏻
@Chris
« les lois américaines *actuelles* ne permettent pas au gouvernement d’imposer à Apple … »
Faut juste attendre un autre Patriot Act ou une nième variant du Covid et les lois se changent - bref zéro protection lorsque l’outil est déjà en place et le principe accepté pour une catégorie …
@Beaubarre
C'est faux, le patriot act le permet, la NSA à des backdoor surt tout les terminaux du monde, Android ou apple.
@morpheusz63
"le patriot act"
Au delà de tes habituels délires conspirationistes, tu as vu de vrais levées de bouclier populaire massive contre le patriot act et le cloud act ?
Nullement, quand des décisions sont motivées pour lutter contre une peur collective les enjeux philosophiques de défense des libertés individuelles pèsent fort peu.
C’est pourquoi je considère que les débat autour de l’annonce d’Apple sont une tempête dans un verre d’eau n’intéressant qu’un microcosme minoritaire et que cela n’aura aucun impact sur l’image de marque d’Apple.
Et au pire ils feront machine arrière si tant est que de façon surprenante la mayonnaise prenne au delà du microcosme minoritaire.
A ce jour les enjeux de ce type n’ont jamais eu d’impact fort sur les masses pour le plus grand bonne des intérêts de Google ou FB qui ont l’ensemble de leur modèle économique basé sur l’exploitation de la vie de leurs utilisateurs.
@YetOneOtherGit
Me traiter de complotiste c'est l'argument de ceux qui ont rien à dire. Sinon tes arguments c'est du classique copier - -coller , tu répète toujours les même parole que se soit concernant Apple, Sherman act.. Rien n'est figer, et rien n'est graver dans le marbre.. Et je maintient c'est du cheval de troie la pédoPhilip ou le terrorisme..La NSA à déjà tout les outils, et Apple ou Google ou autre doivent s'y plier, c'est leur Loi depuis le patriot act
@morpheusz63
Tu aurais du prendre la pilule bleue Morpheus plutôt que de voir la matrice ^^.
Pages