Les nouveaux systèmes d'Apple pour lutter contre la pédopornographie inquiètent

Félix Cattafesta |

Les nouveaux mécanismes d'Apple pour lutter contre la pédopornographie ne plaisent pas du tout aux défenseurs et avocats de la vie privée, notamment à certaines ONG ou à Edward Snowden. Dans une série de tweets, le lanceur d'alertes a vivement critiqué ces mécanismes, qu'il compare à un moyen de surveillance global. « S'ils peuvent scanner des images pédopornographiques aujourd'hui, ils pourront scanner ce qu'ils veulent demain ». Il ajoute ensuite qu'Apple a « transformé mille milliards de dollars d'appareils en iNarcs [iMouchards]... sans demander ».

Les retours négatifs ne se sont pas fait attendre non plus du côté de l'EFF (Electronic Frontier Foundation), qui estime que l'examen des photos revient à mettre en place une porte dérobée. L'ONG explique qu'il est impossible de construire un mécanisme côté usager qui sera seulement utilisé pour lutter contre la pédopornographie. Pour eux, un tel système (même bien intentionné) brise la promesse du chiffrement bout-en-bout et ouvre la porte à différents abus.

À l'avenir, il sera facile de modifier le mécanisme déjà existant pour le pousser à chercher d'autres types de contenus et pour signaler d'autres types de comptes. L'EFF imagine le cas d'un gouvernement autoritaire utilisant le système pour détecter les images révolutionnaires, satiriques ou liés aux causes LGBTQ+.

Image retweetée par Edward Snowden. Source : Twitter.

Le scan des photos iCloud est pointé comme une perte de confidentialité plutôt que comme une amélioration. L'ONG explique également que les notifications aux parents pourraient être envoyées de manière disproportionnée si l'algorithme n'est pas au point, par exemple en signalant des tableaux d'art ou des memes comme éléments anormaux. La critique est fondée : le système de Facebook fonctionne sur le même principe et se trompe régulièrement.

Enfin, l'organisation CDT (Center for Democracy and Technology) a exprimé ses craintes quant à l'utilisation des fonctions de notification aux parents par des adultes malveillants :

Les jeunes et les enfants LGBTQ vivant dans des foyers violents sont particulièrement vulnérables aux représailles, y compris de la part de leurs parents ou tuteurs. [Le système d'Apple] pourrait exposer par inadvertance des informations sensibles sur eux-mêmes ou leurs amis à des adultes, avec des conséquences désastreuses.

Avec cette technologie, Apple fait le pari risqué de remettre en jeu son image d'« entreprise de la confidentialité ». On le sait, Cupertino s'arrange parfois avec certains pays et les craintes évoquées par les militants sont loin d'être infondées. Les employés d'Apple s'interrogent aussi, au point que Sebastien Marineau-Mes, le vice-président en charge des logiciels, a diffusé un mémo annonçant des explications plus précises à venir afin d'éviter les quiproquos.

Lutte contre la pédopornographie : Apple veut répondre aux craintes et aux incompréhensions

Lutte contre la pédopornographie : Apple veut répondre aux craintes et aux incompréhensions

avatar CorbeilleNews | 

Ah que voilà de bonnes raisons supplémentaires que ce soit le dernier Apple, la dernière c’était la disparition du port casque. J’avais encore réussi à trouver une solution mais là va falloir abandonner et s’orienter vers d’autres produits vraiment respectueux de mes choix, et pas du Google bien entendu.

Snowden ne voudrais pas faire un OS avec un fabricant sérieux ?

avatar Krocell | 

Il y a plein de gens au gouvernement qui vont passer android

avatar GRAILLE Alain | 

One peut pas parler de système d'Apple car cela revient à parler de Mac OS, il faut parler à ce moment là de méthode appliquée pour la détection de la pédopornographie et dans ce cas il est difficile de faire la détection par un programme fût-il le meilleur de tous. C'est connu le Macintosh est la machine de l'image, or une image cela se regarde et s'étudie comme un tableau ou une photo et là seul l'oeil humain peut faire la différence entre image d'art et image à connotation sexuelle ou déviante.
Et c'est là le problème de nos réseaux qui doivent déterminer si c'est une bonne image ou une image déviante et là encore qui peut vraiment le faire sans jouer l'espion en prétendant la sécurité ! Soyons clairs l'image est faite pour être vue et analysée chose qui est difficile et aura-t-on un jour quelqu'un de bien franc ne comptant pas sur un logiciel pour le faire cela serait utopique ! C'est à l'homme d'agir avec bon sens et impartialité. Chose difficile !

avatar ⚜Dan | 

Ya rien d'inquiètant si ya rien a cacher, les photos de vacances ils en ont rien a faire... et avec les critiques sa rendra le tout meilleur pour tout le monde. Gagnant gagnant comme a chaque fois lol

avatar macosZ | 

@⚜Dan

Ben si tu n’as rien à cacher ne sois pas gêné si je rentre chez toi, fouilles dans tes affaires, regardes tes albums photos en prend une ou deux que je pense tendancieuse (je ne vois ni ne comprend très bien après tout je suis un algo Apple😄) et j’appelle les flics en t’accusant de pedophilie

Et sérieux des algorithmes de traitement par mecs qui ont développé Siri…. Ça va bien marcher ce truc encore 😬

avatar fwally | 

N’oublions pas que tout citoyen est présumé innocent. Si une société privée scanne nos photos pour prévenir tout délit, ça signifie que chaque citoyen est présumé coupable.
C’est un renversement du droit et ce n’est pas acceptable.
De plus, cette société s’arroge le droit de faire une action de police pour laquelle elle n’a jamais reçu mandat. (Même la police a besoin d’un mandat donné par la justice pour effectuer une perquisition en vue de trouver des preuves de culpabilité)
🙃😶

avatar NeXT-3.3 | 

Avec la santé (physique et psychique), notre vie privée est ce qu'il y a de plus important. Ce n'est pas négociable et on ne devrait pas à avoir à choisir. Je pense en particulier aux victimes de pédophilie.
En termes de santé et de vie privée, nous sommes bien lotis en France par rapport à d'autres pays et j’espère que cela durera longtemps.
Ce n’est pas à Apple de prendre de genre d’initiative, et malgré ses efforts pour garantir une espèce « confidentialité », je ne pense pas que ce soit la bonne façon de lutter contre ce fléau. Les pédophiles se rabattrons probablement sur d’autres moyens de communication en s’éloignant de l’écosystème Apple. On n’aura rien résolu.

avatar sekaijin | 
avatar fallherpe68 | 

De toute façon la vie privée sur internet (avec un smartphone, ordinateur etc) relève davantage du mirage que de la réalité... il faut accepter le fait que toute donnée qui interagit avec le "monde internet" peut être compromise.

avatar roquebrune | 

Apple c'est donc fini, ils avaient tenu bon devant le FBI, mon prochain sera un android qui en plus est bien superieur en photo
S'ils voulaient vraiment lutter contre tout ce qu'on voudra qu'ils donnent un budget pour trouver les propriétaires de sites et les photographes , au lieu de se chercher des excuses pour rentrer dans le rang de la surveillance generaliser
A quand les tatouages pour ceux qui ne veulent pas de vaccin ?

avatar marenostrum | 

ils vont obliger les gens d'utiliser que des appareils qui prennent en compte certaines mesures sécuritaires bientôt. comme le pass sanitaire.
bref ça va servir à rien de changer d'appareils.

avatar Gepat | 

J'ai lu hier que le système mis en place par Apple est très complexe. Il ne sera mis en service pour l'instant qu'aux USA - et se fera au sein du téléphone. Il n'y aura donc pas d'envoi à Apple des images "potentiellement problématiques". La photo épinglée sera comparée à une base de données d'une association américaine. S'il y a concordance, elle sera transmise à une équipe humaine chez Apple. Ces vérifications se font apparement déjà sur les photos uploadées sur iCloud Photo et sur Google Photo...

L'idée de voir ses photos analysées par un algorithme est assez insupportable - même si Google a fait pareil pour les mails de Gmail -, je suppose qu'Apple va clarifier sa position devant les réactions négatives que cela suscite.

avatar andré_CH | 

Il suffirait d'utiliser une application de photo qui ne stocke pas dans l'app Apple "Photos" pour éviter cela, non ?

avatar roquebrune | 

Le but n'est pas d'éviter que Apple scanne mes photos , mais le precedent est dévastateur
La toute premiere chose c'est la vie privée y compris pour les criminels
Si la police et les politiques internationaux voulaient s'en donner les moyens , la violence faite sur les enfants serait deja en bonne voie de disparition ... mais véreux et politique sont presque interchangeables

avatar oomu | 

et dire que demain l'iphone sera interdit de prendre une photo d'une peluche de Winnie l'ourson et qu'il vous dénoncera à la police...

halalala.

avatar Cyrille50 | 

J'ai bien lu les explications de MacGe et du site d'Apple, et je crois que la "firme" réalise un assez bon équilibre entre la nécessité absolue de faire pièce à la pédocriminalité et le respect de la vie privée.

D'abord, Apple ne fouille pas dans vos photos, c'est faux. Elle a constitué une base de données (CSAM) de photos pédocriminelles chez elle. Si vos propres photos, même d'un bébé nu dans son bain, ne correspondent pas à l'une de celles contenues dans le CSAM, alors ils ne se passera rien. Même des nus consentants de vous-mêmes ou d'autres personnes ne provoqueront rien si ces photos ne sont pas celles qui se trouvent dans le CSAM.

Ensuite, Apple ne va pas chercher dans vos photos. C'est votre propre téléphone qui le fait, en interne. Dans votre téléphone, les photos sont transformées en un algorithme, lequel est comparé à l'algorithme des photos de la base de données de la bas CSAM. Tant qu'il n'y a pas assez de points de concordance, il ne se passe rien du tout.

Donc cela me semble assez bien équilibré et non intrusif.

avatar Bigdidou | 

@Cyrille50

« Donc cela me semble assez bien équilibré et non intrusif. »

Ça n’en est pas moins dangereux.

avatar Cyrille50 | 

Ce qui est dangereux c'est l'informatique. Pour être tranquilles, revenons aux années 70 et aux téléphones à cadran. Et encore, on pouvait poser des "bretelles" dessus !

Moi ça ne me pose aucun problème je trouve ça très intelligent, étant comme chacun de vous j'imagine, foncièrement et totalement ennemi de tout ce qui ressemble à, ou incite à, la pédocriminalité.

Si demain émerge une dictature, elle pourra de toute manière faire ce qu'elle veut avec les téléphones, et ni Apple ni les autres n'y pourront rien dans le pays concerné. Donc l'atteinte à la vie privée n'est pas vraiment le sujet, en fait.

avatar Bigdidou | 

@Cyrille50

« Si demain émerge une dictature, elle pourra de toute manière faire ce qu'elle veut avec les téléphones, et ni Apple ni les autres n'y pourront rien dans le pays concerné. Donc l'atteinte à la vie privée n'est pas vraiment le sujet, en fait. »

De quoi parles-tu ?
Ce n’est absolument pas le danger ni l’enjeu éthique.
Je crois que ça été suffisamment débattu dans ce fil et les fils connexes pour ne pas revenir dessus.

avatar v1nce29 | 

> D'abord, Apple ne fouille pas dans vos photos

Si. Par définition. Elle fait un scan local où elle calcule le (perceptual) hash de chacune de tes photos et le compare à une liste de hash de photos illégales.
Ensuite elle filtre (avec une IA cette fois-ci et pas par une comparaison de hash) en entrée/sortie toute photo qui contient de la nudité.

Ca commence comme çà. Et après ?
On rajoute les signatures des images en lien avec Daesh.
Puis les logos des groupes criminels.
Puis tout ce qui a trait à Qanon.
Puis les AntiVax.
Puis les gilets jaunes, les syndicats, les teufeurs illégaux, les pro/anti avortement, les intégristes (=tous ceux qui te plaisent pas)...

Si l'algo de calcul du hash vient à être connu, ça pourra donner des choses intéressantes (hash poisonning...)

avatar quinzero | 

c'est vraiment la pire des choses qu'Apple est mis en place. Ils doivent absolument revenir en arrière au risque de perdre toute crédibilité sur leurs valeurs de confidentialité des données.

avatar TiTwo102 | 

J’ai vraiment espoir que suffisamment de gens influents vont en parler et que cette histoire fasse suffisamment de bruit pour qu’Apple abandonne.

Cette notion de contrôle total sous couvert de présomption de culpabilité est tout simplement scandaleuse.

avatar Pmac | 

« 1 faux positif sur 1 trillion »
C’est la boite qui a fait Siri qui nous dit ça… Hum

avatar Pmac | 

Analyse vue sur le forum du site US Arstechnica :

« Bien. Alors:

- Un algorithme de boîte noire pour déterminer si les images correspondent (avec un certain niveau de flou pour tolérer le redimensionnement, la rotation, etc.)...

- Vérifie les images sur mon téléphone par rapport à une base de données blackbox de hachages que quelqu'un jure être vraiment mauvais (qui, bien sûr, ne peuvent être vérifiés en aucune façon)...

- Ne me donne aucun moyen de déterminer si quelque chose correspond à quelque chose dans cette base de données...

- Sauf s'il y a trop de correspondances, Apple les déchiffre, désactive mon compte (mais je peux faire appel !), et fournit quelques gouttes d'informations à mon sujet à un groupe.

Apple s'est penché sur la Chine en ce qui concerne les serveurs iCloud, et d'une manière ou d'une autre, je suis censé avoir confiance que cette base de données impossible à identifier d'éléments qui, si elle est mise en correspondance, ruinera facilement la vie des gens, ne sera pas abusée au cours des années à venir. par divers gouvernements qui n'aiment pas les mèmes en particulier (voir « Ourson et la Chine » pour un exemple) ?

... et je suis également censé croire que le téléphone peut identifier de manière fiable les "images sexuellement explicites", quand si vous mettez 20 adultes dans une pièce et leur demandez de trier ce qui est et n'est pas une image sexuellement explicite, vous Je n'obtiendrai rien qui ressemble à un accord. Pendant ce temps, d'autres projets d'apprentissage automatique ne peuvent pas faire la différence entre la lune, bas dans le ciel, et un feu de circulation.

Génial. »

Source : https://arstechnica.com/tech-policy/2021/08/apple-explains-how-iphones-will-scan-photos-for-child-sexual-abuse-images/?comments=1&sort=insightful#comments

avatar debione | 

Think different...
Ben moi, je préfère continuer ne pas penser différemment... J'avais déjà fait le pas de prendre un android comme smartphone, pour une question de prix et parce que je ne croyais plus du tout en leurs argumentaires "ce qui est sur votre iPhone reste sur votre iPhone" et la pseudo confidentialité des données... Cette histoire ne fait qu'aller dans le sens de la pub ciblée sur l'appstore, des écoutes de Siri, de la dictée vocale, de l'envoi de donnée personnelle... (et on passe sur Pegasus)

Bref qu'est-ce qui ressemble le plus à un iPhone @ 1000.-? Ben trois android @ 300.- (et il te reste 100.- pour faire la fête avec une bonne biture)

avatar Krysten2001 | 

@debione

Un commentaire non réfléchi 😉

avatar Maitre muqueux | 

La machine fasciste woke est en marche

avatar vVDB | 

Il n'y a aucune garantie aux US de respect de la vie privée. Je le répète depuis des années.
Apple vient d'en faire la démonstration.
Snowden en bon américain n'est pas trop gêné globalement par cela, ça l'ennuie. Il avait pourtant bien fait remarquer qu'un étranger n'a aucun droit s'il est hors du territoire américain ! Un français en France par exemple n'a aucun droit sur ses données aux US, c'est juste contractuel.

avatar TiTwo102 | 

D’ailleurs, question que je me pose :

Pourquoi Apple ne choisi pas, comme littéralement tous les autres services cloud, de scanner ce qui est sur leurs serveurs ?
Pourquoi mettre un outil sur le (nos) téléphone ? Qui plus est activé que si iCloud est actif, ce qui a du coup la même efficacité que l’autre « solution » ?

A part la possibilité de pouvoir modifier cet outils pour, à terme, pouvoir scanner littéralement ce qu’ils veulent quand ils veulent, ou est la plus value ?

Et je ne parle même pas du risque de faille…

avatar Paquito06 | 

@Genval

"Le problème n'est pas savoir si Apple installe ou n'installe pas, le problème est qu'Apple s'érige en gardien de la moralité, mais qui sont-ils pour en décider ! Finalement ce n'est qu'une société capitaliste comme beaucoup d'autres qui surfe sur les thèmes à la mode et qui nous jete de la poudre aux yeux pour nous vendre sa morale,enfin celle qu'elle prétend défendre de manière à gagner plus d'argent. C'est à nous, citoyens d'être les garants de notre moralité et du bon fonctionnement de notre société et ce au travers de nos institutions, n'en dépalise à tous les complotistes."

Je comorends et recois ton point de vue.
Je ne pense pas que la pedopornographie soit un theme tellement a la mode. C’est un vrai probleme qui perdure depuis un moment a laquelle on n’apporte pas une meilleure reponse. Apple ne decide de rien, Apple aide et transmet, encore une fois. Quand Apple touche aux cartes bancaires et les met dans wallet, ca pose pas probleme car les banques foutent rien et l’utilisateur veut Apple Pay, la meme avec la santé, les medias, etc., mais quand Apple sort une fonctionnalite qui n’est pas destinee a tous, seulement une part infime des utilisateurs, alors de quoi Apple se mele, ce n’est pas son domaine? La moralité avec ce genre de sujet c’est vite vu quand meme, y a pas de poudre aux yeux.

avatar MarcMame | 

@jcp25

"Bon, après, chacun fait ce qu'il veut"
Non

"et pense ce qu'il veut !"
Oui

avatar Appleseed | 

Flippant comme système !
Espérons que les autorités vont intervenir et que Apple va se prendre une volée de bois vert sur ce coup là !
Il s'agit ici clairement d'une intrusion dans la vie privée.
L'administration Biden s’intéresse fortement aux GAFAM, et Apple vient ici de donner du grain à moudre à un contrôle plus poussé de ces boites ultra puissante.

Certes la pédopornographie doit être combattu (comme toute chose illégale), mais pas à n'importe quel prix !
Si tout le monde est d'office considéré comme suspect c’est une atteinte même à la présomption d’innocence qui est l'un des principes de droit les plus fondamental des démocraties.

Avec un tel système, il vaut mieux ne pas être naturiste.
Bah oui, même si ils passent leurs journées de vacances à poil, ils font aussi des photos souvenir de leur vacances.
Avec le système d'Apple ça va y aller niveau remontées douteuses si ils prennent des photos de leurs enfants ...
Non seulement ça indiquera aux autorités une info qu'elles ne savaient pas concernent certains (le fait d'être naturiste) violent ainsi leur droit à la vie privée, mais en plus ça induira en erreur l'intention de ces photos (de simple souvenir propre à ce mode de vie).

avatar ech1965 | 

Je ne comprends pas bien le principe. la démonstration ci dessous est un peu "extrême" et je tiens à rappeler que ne partage AUCUNNEMENT les "valeurs" pédophiles ( même si j'aime mes enfants).
Alors donc il s'agit de protéger les enfants des pédophiles. En quoi traquer les images existantes d'enfants DEJà abusés va-t-il les protéger? AMHA ce n'est pas tant le transit des anciennes images qui doit être traqué ( le mal est fait), mais la fabrication et la diffusion de NOUVELLES images. Conclusion: il faut d'urgence installer un système de scan de TOUTES les photos dans TOUS les téléphones et TOUS les services cloud et surtout de tous les "live view" des appareils photos pour détecter "avant la prise de vue si possible" les abuseurs au travail: par ex en ajoutant une photo prise secètement via la caméra frontale en méta donnée de chaque photo ainsi que les infos du touch id
Le but est d'arriver à un verrou logiciel permettant de bloquer la prise de vue d'images offensantes.
Après, il suffira d'adapter les algo pour empêcher les captures de policiers en train de tabasser, les manifestants, ....

Vous avez compris, la solution au problème ( bien réél) soulevé par Apple nous conduit en absurdie totalitaire.

avatar popeye1 | 

Formidable : l’état va faire des économies. Plus besoin de police, ni de justice. Apple s’en charge. Le Hic c’est qu’Apple va se substituer à la police et à la justice dans cette affaire mais selon les lois de quel pays ?
La ligne jaune est franchie.
Apple s’attaque à la pédophilie, c’est bien, mais en tant qu’entreprise est-elle habilitée à endosser ce rôle ? Qui l’a investi de ce pouvoir et selon quelle règle démocratique ? Est-elle si blanche que ça pour s’attribuer ce rôle ? Pendant que les gafams font des profits hors normes d’autres crèvent de faim en regardant passer les yachts !

avatar johnios | 

Sur le principe qui est juste de scanner les contenus et les comparer a une base , c’est une bonne idée. Et à mon avis cette idée vient très probablement d’une cause qui nous est inconnue pour nous mais pas pour Apple… peut être qu’ils sont tombés sur un nombre d’image pedo non négligeable lors d’enquêtes ou d’audit sur leurs serveurs.

avatar Yanerick76 | 

C’est un forum sur la paranoïa ici…

avatar v1nce29 | 

Ca marche encore le TOTC ?

Pages

CONNEXION UTILISATEUR