Apple l'assure, les gouvernements ne pourront pas abuser du nouveau mécanisme de lutte contre la pédopornographie
Apple poursuit son tour des médias (anglophones) pour faire accepter ses mesures de lutte contre la pédopornographie. Erik Neuenschwander, le patron des technologies de confidentialité, est à la manœuvre dans une interview chez TechCrunch. Il tente d'apaiser les craintes de tous ceux qui redoutent que le système de détection des photos CSAM (Child Sexual Abuse Material) puisse être exploité par des gouvernements peu soucieux des libertés publiques.
Les nouveaux systèmes d'Apple pour lutter contre la pédopornographie inquiètent
Le dirigeant rappelle tout d'abord que seuls les États-Unis sont concernés à l'heure actuelle. Selon lui, les lois américaines ne permettent pas au gouvernement d'imposer à Apple de détecter des images sur les appareils des utilisateurs de ses produits, autres que des images pédopornographiques. Les avocats pourraient bien s'emparer de cette question légale le jour où le FBI aura besoin d'un coup de main du constructeur pour repérer des terroristes par exemple.
Apple a indiqué en fin de semaine dernière que son système de détection des images CSAM pourrait se déployer en dehors des États-Unis, en fonction des législations locales. Problème : on a vu que le constructeur n'avait aucun mal à plier dans tous les sens ses beaux discours devant la réalité des faits, comme en Chine.
Erik Neuenschwander explique que le système intègre un certain nombre de protections qui n'en font pas le meilleur outil pour « identifier des individus qui possèdent des images particulièrement répréhensibles ». Cet automne, iOS va comparer des suites de chiffres hachés d'images pédopornographiques provenant d'une base de données du National Center for Missing and Exploited Children (NCMEC), avec les photos à téléverser vers iCloud Photos (elles aussi ont été hachées avec l'algorithme NeuralHash). Cette base de données sera intégrée à même le système d'exploitation.
Il est impossible pour Apple de cibler des utilisateurs individuels, puisque iOS est un système d'exploitation global : tout le monde reçoit le même paquet. Le système du constructeur exige aussi qu'un certain nombre de correspondances soient enregistrées avant de lancer une procédure d'examen par un humain. « Essayer de rechercher une seule image à partir de l'appareil d'une personne ou d'un ensemble d'appareils ne fonctionnera pas, car le système ne permet pas à Apple de prendre connaissance des photos individuelles stockées dans ces appareils ».
L'examen manuel est le dernier garde-fou mis en avant par Neuenschwander, il intervient lorsque le mécanisme a détecté qu'un seuil d'images CSAM est dépassé (Apple ne précise pas le nombre1). Si un gouvernement voulait abuser du système en intégrant à sa base de données des hashes de photos qui n'ont rien à voir avec des images pédopornographiques, il lui faudra passer au-dessus de pas mal d'obstacles, souligne-t-il.
Et il y a toujours la possibilité de désactiver iCloud Photos sur l'appareil. Dans ce cas, le processus NeuralHash ne se lancera pas, il ne générera aucun « bon de sécurité » qui pourrait allumer une alerte orange chez Apple (et pour cause, dans ce cas les photos ne sont pas téléversées sur les serveurs du constructeur).
L'été où l'iPhone est devenu une passoire de sécurité qui vous flique
-
Pourquoi plusieurs correspondances plutôt qu'une seule ? « Nous voulons nous assurer que les rapports que nous faisons au NCMEC sont exploitables », explique Neuenschwander. « Une des notions de tous les systèmes est qu'il existe une certaine incertitude pour savoir si cette image correspond ou pas. Le seuil nous permet d'atteindre cet objectif, nous nous attendons à un taux de faux rapports pour l'examen d'un compte de un pour mille milliards par an » ↩︎
@r e m y
Ça existe dans tous les poids lourds les mouchards. Et dans les avions. Ça arrivera dans les voitures, ce n’est qu’une question de temps.
Sauf que avec ces mouchards ce n'est pas le constructeur du poids lourd ou de l'avion qui vérifie que tu respectes bien la réglementation mais la police (ou le BEA pour les enregistreurs de vols sur les avions)
Là on a un constructeur de camion qui surveille ce que tu fais avec le camion que tu lui as acheté et te dénonce à la police en cas d'infraction 🥴
@r e m y
Tu as des infos sur cette dénonciation? Déjà c’est pas à la police mais au NCMEC. J’ai pas trouvé plus que « report ». Ça contient quoi?
Jusqu'à présent, selon exactement le même procédé, Apple vérifie les photos envoyées en pièces jointes des e-mails transitant par les serveurs iCloud. On a un exemple de ce qui se passe quand un utilisateur est identifié par Apple, rapporté par Forbes en février 2020:
https://www.forbes.com/sites/thomasbrewster/2020/02/11/how-apple-intercepts-and-reads-emails-when-it-finds-child-abuse/?sh=43fc77c931c2
Et dans le cadre de ce qui est annoncé pour la bibliothèque iCloud' Apple parle bien de signaler aux forces de l'ordre les individus identifiés (après contrôle humain des photos concernées):
https://www.reuters.com/world/middle-east/apple-not-pass-icloud-photo-uploads-law-enforcement-if-they-do-not-contain-child-2021-08-06/
Il est indiqué "Apple has a human review process that acts as a backstop against government abuse, it added. The company will not pass reports from its photo checking system to law enforcement if the review finds no child abuse imagery."
C'est bien de "reports to law enforcement" soit en français "signalement aux forces de l'ordre" dont il s'agit
@r e m y
Effectivement.
« This innovative new technology allows Apple to provide valuable and actionable information to NCMEC and law enforcement regarding the proliferation of known CSAM. And it does so while providing significant privacy benefits over existing techniques since Apple only learns about users’ photos if they have a collection of known CSAM in their iCloud Photos account »
Bon faut quand même avoir un paquet de photo et ça donnera probablement pas lieu à grand chose de plus qu’une amende et encore probablement pas souvent. Un peu comme si tu te faisais flasher à 70 au lieu de 50 par une voiture d’un des prestataires privés.
C’est rageant mais mérité.
Avoir un paquet de photos , on n'en sait rien , Apple n'ayant pas indiqué à partir de combien de détections ils vérifient et font un signalement. Dans le cas rapporté par Forbes, l'individu signalé au FBI avait envoyé 12 mails (dont plusieurs fois le même qu'il s'était auto-envoyé en voyant que son 1er mail n'arrivait pas à destination).
De toutes façons ça ne justifie pas qu'Apple analyse chacune des photos que j'envoie sur ma photothèque en pre-supposant que je suis, comme chacun des utilisateurs d'iPhone, un délinquant sexuel potentiel!
Quant au signalement au NCMEC il est peut-être même encore plus grave. Apple se permet de désigner quelqu'un à cette association comme délinquant sexuel probable avant même que la police et/ou la justice l'ait confirmé ou au contraire démenti !
Ce sera quoi la prochaine étape? Une AppleWatch qui détecte un rythme cardiaque caractéristique de la prise d'heroine? Des AirPods qui, outre la fréquence respiratoire, captent les effluves de cannabis? Un iPhone qui, en voiture, constate les excès de vitesse, franchissement de feux rouges ou circulation à contre sens ?
C'est ça le monde que propose Apple? Un monde où le fait de posséder un iPhone suppose qu'on accepte que le moindre de nos faits et gestes soit surveillé, analysé par divers algorithmes de façon à ce que la moindre de nos infractions fasse l'objet d'un signalement par Apple aux forces de l'ordre et à la justice?
@r e m y
"Avoir un paquet de photos , on n'en sait rien , Apple n'ayant pas indiqué à partir de combien de détections ils vérifient et font un signalement. "
Autour de 30 aux derniere nouvelles.
@r e m y
"Des AirPods qui, outre la fréquence respiratoire, captent les effluves de cannabis?"
C’est legal en Cali (et dans la majorite des Etats) donc on verra pas cela d’aussitot.
@r e m y
" Un iPhone qui, en voiture, constate les excès de vitesse, franchissement de feux rouges ou circulation à contre sens ?"
Y a des cameras a tous les carrefours aux US, donc ca sera pas non plus dispo tres bientot.
@r e m y
Sur ce point je suis d’accord.
Un prélèvement de 45k€ direct sur le compte en banque et donné à une association aurait suffit
@r e m y
Qqun sait exactement à quoi correspond le « report » fait à la fin du process? Je vois que Facebook en a fait 20 millions en 2020.
@BLM
Pourquoi ça ne choque personne que Facebook le fasse depuis plusieurs années sur toutes les photos publiées ?
On ne sait pas combien d’arrestations cela a donné. C’est bizarre qu’ils ne s’en vantent pas.
Au passage l’api Microsoft permettant de vérifier une photo etant gratuite, beaucoup de monde doit l’utiliser (Flipboard l’utilise)
Parce que dans le cas de FaceBook, il s'agit de photos publiées donc rendues publiques, alors que dans le cas d'Apple, il s'agit d'un contrôle sur des documents privés (toutes les photos envoyées par tous les utilisateurs d'iPhones sur leur photothèque iCloud) sans aucune commission rogatoire autorisant la perquisition.
@r e m y
J’ai pas de compte Facebook mais tout n’est pas public sur Facebook. Le centre aéré de mes enfants y publie toutes les photos des activités, c’est tout autant privé qu’iCloud. N’ayant pas de compte je n’y ai pas accès. Idem pour WhatsApp. Sauf que chez Apple c’est anonyme et en local.
La page FaceBook du centre aéré est publique, même si c'est réservé à un public restreint. On n'est pas dans le domaine privé comme peuvent l'être des documents que l'on enregistre sur son smartphone ou dans sa bibliothèque de photos.
Apple Man....le nouveau justicier. Marvel est déjà sur les rangs pour le 1er film d une longue série à venir.....
Même si la cause est noble, la mission d’Apple n’est pas de jouer au policier, mais de produire de bons produits, sûrs et efficaces.
La pédopornographie et la pédophilie ne seront pas éradiquées par la répression, mais par la compréhension et la recherche des causes.
@LeDan
Vrai. Mais ici c’est pour protéger les enfants qui en sont victimes, non pas d’éradiquer la pedopornographie. Et si Apple implémente un tel système c’est sans doute qu’on l’a poussée.
@UraniumB
Je suis compatissant pour cette noble cause et pour les victimes, mais ce n’est pas en interdisant la présence de ces photos sur les iPhone que le phénomène disparaîtra. C’est la cause qu’il faut comprendre et éradiquer.
De plus, cela va créer un précédent. Demain, ce sera pour rechercher des opposants politiques ou des personnes qui ont telle religion, opinion, orientation sexuelle ou couleur de peau. Ce sera nous tous.
pour la couleur pas besoin d'une app en fait. ils s'intéressent à des choses cachées beaucoup plus parlantes de la personne.
@LeDan
Mais même si c’est pour chercher les photos d’enfant nue, cela me gêne. De nombreux parent ont des photos de leur progéniture le sgeg a l’air ou faisant pipi sur le pot.
Si Apple paye des humains pour vérifier les vrais pedo des faux, cette personne et potentiellement d’autres vont se rincer l’œil sur ces enfant là alors que ce sont techniquement des photos privées.
Si j’étais pedophile je postulerais à ce programme. 🤣
@LeDan
"Même si la cause est noble, la mission d’Apple n’est pas de jouer au policier, mais de produire de bons produits, sûrs et efficaces.
La pédopornographie et la pédophilie ne seront pas éradiquées par la répression, mais par la compréhension et la recherche des causes."
Exact
Si Apple le dit…
Tempête dans un verre d’eau de la part de la presse qui n’a toujours pas avalé la pilule de l’interdiction du suivi de l’utilisateur iOS dans les apps 😂
je les crois. ce n'est pas dans leur intérêt, qui est de remplacer l'état à la longue.
On disait la même chose sous le gouvernement d’Hollande et la loi sécurité est passée en instrumentalisant les attaques terroriste dans les locaux de Charlie Hebdo et au Bataclan pour faire passer cette loi de surveillance globale qui ne trouvait pas de sympathisants jusqu’alors ! Une fois la loi liberticide installée par les gens de pouvoirs c’est tellement plus simple d’étendre son périmètre. On exploite la sensibilité des citoyens au lendemain de tragédie pour servir un pouvoir avide de contrôle. Il ne manque plus qu’une histoire pedopornographique sordide et médiatique pour faire adopter cette surveillance automatisée dont la portée et les limites sont confiées aux mains d’un constructeur.
Y a sûrement d’autres moyens pour lutter contre ce fléau en évitant de forcer les agresseurs à devenir encore moins détectables aux radars !
@muraty
Très bon constat, les paroles s'envolent mais les écrits reste…Les problèmes des humains c'est qu'ilsont lamémoure courte et n'apprennent jamais les erreurs du passé
Juré craché on partagera rien avec les états…
dis moi Apple pourquoi croises tu tes doigts dans ton dos?…
En fait ce qui moi me gêne, ce n’est pas qu’Apple fouille dans mes photos, c’est de savoir qu’Apple n’a pas confiance en moi. Que pour eux je suis peut être un pedophile à surveiller.
Le lien de confiance est cassé alors qu’il était très très fort. Je pense même que c’est pire que la surveillance de Google ou Facebook qui opère pour des questions basement monétaire de Publicité. Là, on ME soupçonne d’être un criminel de la pire espèce.
C’est moche.
@gwen
"En fait ce qui moi me gêne, ce n’est pas qu’Apple fouille dans mes photos, c’est de savoir qu’Apple n’a pas confiance en moi. Que pour eux je suis peut être un pedophile à surveiller.
Le lien de confiance est cassé alors qu’il était très très fort. Je pense même que c’est pire que la surveillance de Google ou Facebook qui opère pour des questions basement monétaire de Publicité. Là, on ME soupçonne d’être un criminel de la pire espèce.
C’est moche."
Où est ce qu’Apple n’a pas confiance?
Il faut bien a un moment donné un test, afin de definir si oui ou non tu es un criminel. Ca ne veut pas dire qu’on suppose que tu en es un.
A chaque fois qu’on te demande une piece d’identite, de t’identifier, tu te consideres comme un criminel? Ca doit pas etre facile a vivre 😱😂
@Paquito06
On ne le demande quasiment jamais la carte d’identité ou tellement rarement que cela ne me semble pas gênant. Par contre si on me demandait d’ouvrir mon sac à chaque fois que je sort d’un magasin, ce que seule la police peut fouiller, j’imaginerais que le magasin en question a de fort soupçon envers moi.
On voit bien les limites des recherche automatique. Quand tu pense que le mot Asian avait étais bannis par Apple car cela renvoyait potentiellement vers des recherches pornographique. Donc oui, cela ne me semble pas être le rôle d’Apple de surveiller les photos.
De plus cela aurais pu être mieux présenté et exclure automatiquement les photos prises par l’iPhone de son détenteur. Ce qui est normale’ tu le cas Kais qui n’est jamais précisé.
C’est une très mauvaise communication d’Apple.
@gwen
"Donc oui, cela ne me semble pas être le rôle d’Apple de surveiller les photos. "
Alors on donne acces a ton telephone a la Police directement? Ca va plus vite. La police (donc l’Etat) peut ainsi controler les telephones de chacun de ses concitoyens. Oui? Non? Bof en fait, on va plutot laisser ca a Apple qui touche un peu sa bille niveau technologie, software, securite, sur son materiel, son OS.
@Paquito06
Le jour où je devrais passer tous les jours au commissariat pour que l’on contrôle les photos je me poserait beaucoup de question.
Apple aurait pu faite la même chose en communicant mieux en tout cas.
@gwen
"De plus cela aurais pu être mieux présenté et exclure automatiquement les photos prises par l’iPhone de son détenteur."
Mais dans ce cas, le mec qui a ses propres photos reprises par une base de donnees de photos illegales n’est pas inquiete. Ca fout en l’air l’idee du coup.
c'est gênant en fait. d'ailleurs beaucoup de gens d'origine étrangère se plaignent à cause de ça. que la police ne contrôle qu'eux. mais la police doit le faire, parce que sinon comment faire pour trouver les clandestins ?
c'est exactement le même problème.
d'ailleurs pour ça qu'on aura tous une puce dans l'avenir. pour éviter les contrôles partout les gens vont accepter de se taguer, comme les moutons. parce que on est pareil.
@marenostrum
"c'est gênant en fait. d'ailleurs beaucoup de gens d'origine étrangère se plaignent à cause de ça. que la police ne contrôle qu'eux. mais la police doit le faire, parce que sinon comment faire pour trouver les clandestins ?
c'est exactement le même problème. "
Ah non, excuse moi mais c’est different. Apple ne choisit pas un echantillon (les clandestins, pour reprendre ton analogie), mais la population entiere.
dans la théorie la police aussi contrôle la population entière, et pas un échantillon, sinon ça passe pour racisme. mais dans les faits, par manque de moyens et de temps, ils contrôlent les plus susceptibles. Apple va faire pareil, sinon, l'état doit les payer pour recruter.
je pense que cette mesure n'est que démagogique, comme celle contre le piratage. rien va changer dans les faits.
@marenostrum
"dans la théorie la police aussi contrôle la population entière, et pas un échantillon, sinon ça passe pour racisme. mais dans les faits, par manque de moyens et de temps, ils contrôlent les plus susceptibles. Apple va faire pareil, sinon, l'état doit les payer pour recruter. "
Apple va faire pareil? Wtf? Manque de moyen et de temps?
Je ne t’apprends pas que tout est automatisé, que ca se passe sur chaque iPhone, y a zero manual input. Apple a des milliards de terminaux, ils vont pas s’amuser a segmenter. Et chaque jour tu ouvres ta boite email et t’as un rapport tout frais qui t’attend avec les utilisateurs dont les hash ont matché. Pas plus compliqué.
L’Etat n’a aucune obligation d’ailleurs, ils ont pas mandaté Apple pour ca 😅
@Paquito06
« Apple va faire pareil? Wtf? Manque de moyen et de temps? »
Bien sûr.
Ils travaillent à nombre de marmottes constant.
Si elles sont redéployées vers le contrôle photographique, ça coince ailleurs.
Forcément.
@Bigdidou
Tout s’explique 😅
Où est-ce qu'Apple n'a pas confiance?
Apple vérifie toutes les photos que j'envoie sur iCloud en passant leur signature au crible d'une base de données de photos pedophiles... j'ai vu mieux comme preuve de confiance !
Si demain quelqu'un te demande un test antidrogue chaque matin au réveil alors que tu n'as jamais touché à cette cochonnerie, pas même un petit joint, tu ne vas pas trouver que cette personne ne semble pas avoir confiance en toi?
le test humain sur personne apparente est mieux en fait parce que ça dépend de le tête de celui ci. si t'as une bonne tête personne te contrôle. tu fais confiance. pour ça que l'apparence est chose importante.
tandis que Apple utilise une machine qui est aveugle et qui contrôle tout. bref aucune chance de t'échapper. mais le contrôle par la machine n'est pas visible ni gênant, pour ça on l'accepte plus facilement. et c'est pourquoi qu'on aura la puce dans le corps sans aucun doute.
@r e m y
"Où est-ce qu'Apple n'a pas confiance?
Apple vérifie toutes les photos que j'envoie sur iCloud en passant leur signature au crible d'une base de données de photos pedophiles... j'ai vu mieux comme preuve de confiance !”
D’accord. Mais dans ce cas, a quel moment etablis tu le test pour savoir si oui ou non un individu est dans l’illegalite?
Dans le domaine militaire, il faut forcement avoir confiance en son prochain (c’est tres structuré, on ne fait pas mieux). Ca n’empeche pas ton prochain de verifier ton identite.
“Si demain quelqu'un te demande un test antidrogue chaque matin au réveil alors que tu n'as jamais touché à cette cochonnerie, pas même un petit joint, tu ne vas pas trouver que cette personne ne semble pas avoir confiance en toi?"
La confiance a ses limites. Il n’y a plus de confiance a partir du moment où il y a trahison. La trahison est possible s’il n’y a aucun check. Donc faut bien checker a un moment donné, sinon y a pas de confiance.
Ok donc la société dans laquelle tu proposes de vivre, c'est une société où chaque citoyen est contrôlé chaque matin pour s'assurer qu'il n'enfreint aucune loi. Si on ne trouve rien, on le laisse passer la journee tranquille, sinon c'est direction le camp de rééducation le plus proche. C'est ça? 🤦♂️
J'espère que tu n'es pas marié ! Sinon la façon dont tu prouves ta confiance envers ta femme ça doit être chaud, avec un test ADN chaque jour pour vérifier qu'elle n'a pas fauté avec quelqu'un d'autre...🥴
@r e m y
C’est exactement ça. Il faut en effet traquer et condamner les pedophiles ou autres criminels. Mais considérer que tous les utilisateurs d’iPhone sont de potentiels pedo me gêne beaucoup même si je comprends les motivations d’Apple.
Mettre une telle fonction de reconnaissance des nues dans le contrôle parental aurais pu être une alternative pour les parents ne faisant pas confiance à leurs enfants. Et même ça, il ne faudrait pas que ce soit obligatoire.
@r e m y
"Ok donc la société dans laquelle tu proposes de vivre, c'est une société où chaque citoyen est contrôlé chaque matin pour s'assurer qu'il n'enfreint aucune loi. Si on ne trouve rien, on le laisse passer la journee tranquille, sinon c'est direction le camp de rééducation le plus proche. C'est ça? 🤦♂️
J'espère que tu n'es pas marié ! Sinon la façon dont tu prouves ta confiance envers ta femme ça doit être chaud, avec un test ADN chaque jour pour vérifier qu'elle n'a pas fauté avec quelqu'un d'autre...🥴"
J’suis pas marié a Apple donc ca va 🤣
Nan je ne propose rien du tout, je demande juste a quel moment on effectue le controle, car il en faut bien un?
Ça sent de plus en plus mauvais chez Apple...
Et Apple nous bassine avec sa défense de la vie privée !!...
Tu parles! Elle scanne ton iphone autant qu’elle le veut...
Un jour elle dénoncera ou chassera autre chose...question d’époque !
@pagaupa
"Tu parles! Elle scanne ton iphone autant qu’elle le veut..."
MacGé devrait mettre en place un systeme où si on n’a pas lu l’article, on ne peut pas commenter 🤓
@Paquito06
Il n’y aura plus grand monde alors 😉
Pages