Sur la défensive, Apple justifie l’abandon de son projet de détection des contenus pédopornographiques
Deux ans après sa présentation et dix mois après son abandon, le mécanisme de détection des contenus pédopornographiques proposé par Apple fait toujours parler de lui. Alors que le groupe Heat Initiative prévoit de lancer une campagne de protestation, accusant la firme de Cupertino de favoriser la diffusion « d’images identifiées de viols d’enfants sur iCloud », Apple s’est sentie obligée de justifier son apparent recul. Une posture défensive aussi rare que les enjeux sont importants.
Apple avait imaginé un complexe mécanisme d’encodage pour représenter les photographies sous la forme d’un identifiant numérique capable de résister au recadrage et aux retouches. Avant qu’une photographie ne soit synchronisée avec la photothèque iCloud, le système aurait comparé son identifiant à ceux des photographies de la base de contenu pédopornographique (CSAM) du National Center for Missing and Exploited Children (NCMEC), une ONG de lutte contre la traite des êtres humains associée aux autorités américaines.
En cas de correspondances répétées, Apple avait prévu un système de vérification manuelle pour écarter les erreurs et de signalement au NCMEC pour pénaliser les fautifs. La firme de Cupertino assurait que son système alliait protection de la confidentialité, puisque l’encodage des photographies aurait été réalisé sur les appareils, et protection des mineurs, puisque toutes les photographies transitant par iCloud auraient été analysées. À ceci près qu’elle avait oublié l’existence de l’effet d’un cliquet.
L’intégration au sein du système d’un mécanisme de vérification des photographies aurait probablement attiré la convoitise des vraies dictatures et des fausses démocraties à la recherche de contenus « subversifs ». Apple avait promis-juré-craché qu’elle ne l’aurait jamais permis, mais elle s’est toujours conformée à ses obligations légales, même lorsqu’elles s’opposent à la liberté d’expression ou à la liberté de la presse. Cette bonne intention préfigurait un enfer.
Thorn, l’organisation fondée par Demi Moore et Ashton Kutcher pour concevoir des solutions technologiques à l’exploitation sexuelle des enfants, avait salué le projet d’Apple. Son ancienne vice-présidente des affaires externes, Sarah Gardner, est maintenant à la pointe de la protestation contre son abandon. Dans un courrier électronique envoyé à Tim Cook, son groupe Heat Initiative dénonce un recul « décevant ».
Une fois n’est pas coutume, Apple est montée au créneau pour défendre sa position. Dans une déclaration à Wired, Erik Neuenschwander explique que « l’analyse des données privées de chaque utilisateur dans iCloud créerait de nouveaux vecteurs de menaces. » Au moment où les autorités britanniques exigent une porte dérobée dans les mécanismes de chiffrement bout-à-bout « pour protéger les enfants », Neuenschwander mentionne explicitement les messageries chiffrées et le « risque d’une pente glissante aux conséquences imprévisibles. »
« La recherche d’un type de contenu particulier pourrait ouvrir la voie à une surveillance de masse », poursuit-il en reprenant les arguments de ces anciens détracteurs, « nous avons conclu qu’en pratique, il est impossible d’implémenter [notre projet] sans mettre en péril la sécurité et la confidentialité de nos utilisateurs. » Apple préfère mettre l’accent sur des fonctionnalités plus généralistes et plus éducatives, comme le floutage préventif des photographies pornographiques dans le cadre de la « sécurité des communications ».
Photos, Messages : Apple dévoile de nouveaux mécanismes pour lutter contre la pédopornographie
Apple abandonne l'idée de scanner les photos pour détecter des images pédopornographiques
Ce n’est pas à Apple de faire le taff de la police / justice.
Chacun son domaine d’expertise, et Apple doit rester à ça place, et penser plutôt à payer la totalité de ses impôts, ouvrir son store, etc etc
@nhtud948
C’est toute la question. Un moyen technique existe pour prémunir un danger, faut-il ou non l’exploiter même si ce n’est pas dans les prérogatives initiales du système ?
Ça me rappelle un peu la polémique autour de caméras installés sur les bus pour verbaliser les abrutis qui bloquent les pistes de bus : oui mais non, c’est pas le rôle du chauffeur de bus (ou plutôt de son bus) de verbaliser.
@nhtud948
Côté impôts, ils feront tout ce qui est légal pour en payer moins. Et les grands de ce monde feront les offusqués, alors qu’Apple et les autres n’auront qu’emprunté les brèches fiscales crées par les grands de ce monde pour leurs propres intérêts et ceux de leurs amis.
Côté photos pédopornographiques, un faux positif pourrait finir en procès à l’américaine et leur coûter bien cher financièrement et pire en réputation.
@frankm
« Côté impôts, ils feront tout ce qui est légal pour en payer moins. Et les grands de ce monde feront les offusqués, alors qu’Apple et les autres n’auront qu’emprunté les brèches fiscales crées par les grands de ce monde pour leurs propres intérêts et ceux de leurs amis. »
Je suis totalement d’accord sur ce point, même si certains géants ont fait des conneries, c’est indéniable. Je le répète sans cesse.
@frankm
C’est ce que je me tue a dire sans cesse à tout le monde. Et ce pas que pour les entreprises américain, mais toutes les grosse. Regardons déjà les géants de chez nous avant de pointer des doigts, et surtout tapons sur les doigts de gents qui introduisent les lois qui permettent aux géants de profiter des avantages fiscaux!
@nhtud948
“Ce n’est pas à Apple de faire le taff de la police / justice.”
Il n’a jamais ete question de cela. Faudrait pas faire de hors sujet.
“Chacun son domaine d’expertise, et Apple doit rester à ça place, et penser plutôt à payer la totalité de ses impôts”
Si apple ne paie pas d’impot, elle aura un redressement judiciaire. On s’eloigne davantage du sujet là.
“ouvrir son store, etc etc”
Là on n’est meme plus dans le hors sujet, mais dans des demandes individualistes.
Un danger pour nos politiciens…
@onehumanonearth
🙄 source = QAnon ?
@asseb
Apple a reculé parce qu’ils font partie de la fameuse secte de pedo satanistes élitistes. C’est clair. 🤣
Ceci dit, c’était une mauvaise idée qui risquait d’aller trop loin.
@onehumanonearth
“Un danger pour nos politiciens…”
Ou alors, le danger EST le politicien, qui en viendrait a utiliser cet OUTIL a mauvais escient.
On peut couper tous les platanes le long d’une nationale, ils ne sont pas responsables de l’abruti qui ira s’encastrer dans l’un d’eux.
@Paquito06
Bah si tu coupes (et débardes immédiatement) les platanes bien au ras, comment l’abruti pourrait-il s’y encastrer ?
@DG33
Si ce n'est pas un platane, ce sera autre chose. Du reste, la métaphore tient toujours. Le décor n'est pas responsable de ce qui arrive à celui qui fonce dedans.
@KevinMalone
Une fois les platanes coupés, ils ne représentent plus aucun risque (mais cela ne fera pas baisser le nombre d’abrutis).
@DG33
“Bah si tu coupes (et débardes immédiatement) les platanes bien au ras, comment l’abruti pourrait-il s’y encastrer ?”
C’est ca. La seule solution qu’on a trouvé c’est d’eliminer les platanes, pas d’eduquer l’abruti…
@Paquito06
On aurais peut être dû laisser les platanes en place finalement 😂
@gwen
Voilà! 😁
L'enfer est pavé de bonnes intentions...
Cette maxime n'a jamais été aussi vraie que dans ce cas précis, mais on pourrait tout autant parler du marketing basé sur la peur.
Faut dire aussi que la com initiale d'Apple sur ce sujet fut assez désastreuse (si mes souvenirs sont bons ce projet a fuité obligeant Apple à en parler). Tout cela a contribué à alimenter des suspicions sur la confidentialité de nos données (je pense par exemple à un processus de MacOS en rapport à l'analyse de nos photos et qui était soupçonné d'envoyer des données aux serveurs Apple).
@Chris K
“Faut dire aussi que la com initiale d'Apple sur ce sujet fut assez désastreuse (si mes souvenirs sont bons ce projet a fuité obligeant Apple à en parler). Tout cela a contribué à alimenter des suspicions sur la confidentialité de nos données (je pense par exemple à un processus de MacOS en rapport à l'analyse de nos photos et qui était soupçonné d'envoyer des données aux serveurs Apple).”
Elle etait tres mauvaise pour le coté sensible du sujet, je suis du meme avis. Venant d’apple, c’est surprenant, ca ne pouvait alimenter que les idees complotistes. D’ailleurs Heat, ils reflechissent pas deux fois…
Le souci il vient de la techno d’Apple et des législateurs.
Une fois la techno en place qu’est-ce qui empêchera de l’étendre à d’autres types de détection ?
La plupart de mes photos sont prises avec mon X100V, cependant, si ce projet se concrétise à l'avenir, je ne conserverai plus mes photos avec un iPhone ni aucun téléphone. Si cela signifie vivre dans la paranoïa constante et être constamment surveillé, cela ne vaut pas la peine. C'est une vision de la société regrettable, pour ne pas dire merdique.
@JOHN³
+1000
@JOHN³
Puisqu’on te dit que ça n’aurait concerné que tes photos pédopornographiques… continue à les prendre avec ton X100V.
Pour toutes les autres, tu peux utiliser l’iPhone.
Pour l’avenir, cependant, note que tu n’es pas à l’abri qu’un jour tes photos de paysages variés ne soient pas sous le coup d’une analyse approfondie (iOS pourrait calculer l’empreinte écologique de tes déplacements et te signaler à la brigade écolo).
Idem pour tes photos de portraits ou d’individus à l’arrière plan (iOS pourrait y trouver un criminel en fuite, ou un opposant politique parmi tes amis).
Idem pour tes photos d’assiettes pleines (iOS pourrait analyser tes repas et informer ta mutuelle que tu fais un peu trop d’écarts).
Idem pour…
L’active selon l’âge de l’utilisateur ne me semblait pas une mauvaise idée, m’enfin…
« Apple préfère mettre l’accent sur des fonctionnalités plus généralistes et plus éducatives, comme le floutage préventif des photographies pornographiques »
C’est peut être l’option la plus saine à choisir (via IA) par Apple (même si je trouve que ce n’est pas son job). Autant je comprend le besoin de combattre cette horreur de déviance, autant je tiens à ma liberté et ma vie privée.
De toute façon je doute qu'il y ait beaucoup de pedophiles qui mettent leurs images sur iCloud. Les mecs doivent être un minimum paranos et ne doivent pas faire confiance à l'hébergement sur internet.
Comme la surveillance des messages que veut mettre en place les anglais, les terroristes ne sont pas assez con pour utiliser les messageries. Il y a pleins d'autres façon de communiquer discrètement.
@fousfous
"Comme la surveillance des messages que veut mettre en place les anglais, les terroristes ne sont pas assez con pour utiliser les messageries. Il y a pleins d'autres façon de communiquer discrètement."
Ayant une société qui gère un service d’émail encrypés, qui doit souvent répondre à des demandes des services de police, j’ai appris il y a une dizaine d’année que le moyen de communication privilégié des terroristes est … gmail.
Hors tout le traffic des email envoyés et reçu avec Gmail était scanné (officiellement pour y insérer de la publicité contextuelle), mais surtout, ce n’est pas un secret, tous le contenu des e-mails qui transitent par les relais SMTP du territoire US est scanné par la NSA.
En fait les terroristes avaient trouvé une astuce : ils n’envoyaient jamais les e-mails mais laissaient un draft dans un compte partagé. Il;suffisait d’y taper son message pour le terrorisâtes BOB et de le lire puis de l’effacer pour,le terrorise LISA, puis de taper sa réponse.
Le traffic était donc celui de quelques touches et de bribes de JSON (envoyés en JavaScript) et non pas des e-mails complets comportant sujet, verbe, complément qui déclenche les alertes.
Astucieux non ?
PS ça ne marche plus, maintenant ils utilisent TOR + des messageries P2P bien encryptées comme Signal.
@Brice21
Oui c'était l'exemple que je pensais, l'utilisation des brouillons.
Mais je suis sûr que ça fonctionne si par exemple tu utilises le brouillons des commentaires macg pour discuter. Ou si tu utilises notes, page, un logiciel de dessin, ect...
L'imagination n'a pas de limite quand il s'agit d'aller tuer des gens.
Apple pouvait difficilement affirmer que pour répondre à la demande des autorités britanniques de surveiller les contenus dans les messageries, il faut impérativement affaiblir le chiffrage,
et maintenir un procédé de surveillance des contenus pedopornographiques sur iCloud qui, se faisant en local, ne nécessite pas d'affaiblir le chiffrement des données...
Pour pouvoir s'opposer à la demande britannique il fallait nécessairement qu'ils reviennent en arrière sur leur démarche initiale en lui trouvant maintenant des risques rédhibitoires.
@r e m y
L’abandon a eu lieu avant le projet britannique. L’abandon n’est donc pas un moyen pour s’opposer au projet britannique. C’est uniquement la justification qui arrive après.
Quelles sont les raisons derrière l’abandon ? Celles dites dans cette justification ? Ou d’autres ?
Je pense qu’il y a du vrai dans cette justification, mais pas toute la vérité. Je pense que le premier pas vers l’abandon est venu du backslash médiatique. Ça a passablement râlé à droite et à gauche. Ils ont aussi sans doute réalisé, l’information leur a été communiquée, que ce système était illégal à divers niveaux dans plus d’un pays (c’est le cas en Suisse et en Norvège, sans doute ailleurs, au Japon je crois aussi).
L’exploitation qui pourrait en être faite hors du cadre est je pense une réalisation tardive. Il ne me semble pas que les faux positifs aient été évoqués, mais l’étape de vérification manuelle est problématique à plus d’un titre. Illégale dans divers pays sauf à être faite par un policier disposant d’un décision judiciaire lui permettant de le faire. Avant d’en arriver à la vérification manuelle approuvée par un juge, il y a détection et signalement. La surveillance sans suspicion est problématique, illégale en Suisse, et je ne parle même pas d’une surveillance non assermentée par une entreprise privée étrangère. La détection erronée peut déboucher sur des conséquences légales très déplaisantes si avérée. Il y a eu un énorme scandale en Suisse (affaire Kopp puis les fiches), démission au Conseil Fédéral, indignation populaire, et conséquences légales. Même 35 ans après, on en parle encore et ça reste pas marrant. Le signalement est très problématique. Bref, tout est problématique.
Le cas britannique ne fait somme toute qu’exacerber la problématique autour d’un tel système. Les problématiques. Nombreuses.
Tu sais cet adage, si la stupidité est une explication valable, c’est qu’il n’y a pas de complot ou d’agenda supérieur, juste de la stupidité.
Je pense que Apple a été totalement stupide avec ce projet. Certains ont pensé bien faire et ça leur a pété à la gueule.