Photos, Messages : Apple dévoile de nouveaux mécanismes pour lutter contre la pédopornographie
Après les rumeurs, on s'attendait à une annonce en bonne et due forme et c'est chose faite ce soir : Apple va bel et bien intégrer dans l'iPhone une technologie de détection d'images pédopornographiques qui va scanner les images à même l'appareil… Mais c'est un peu plus compliqué que cela, et ce n'est pas le seul mécanisme de sécurité dédié à la protection de l'enfance que le constructeur présente sur ce nouveau site.
Il y a en fait trois mesures qui vont être mises en place plus tard cette année, qui vont se limiter aux États-Unis pour le moment. Apple fournit un livre blanc technique sur l'ensemble de ces mesures.
L'application Messages va bénéficier de nouveaux outils qui vont prévenir l'enfant utilisateur que tel contenu partagé est potentiellement sensible (on peut penser à des photos sexuellement explicites envoyées par des prédateurs). À la réception de telles images, elles seront floutées et l'enfant recevra une alerte sur la nature litigieuse du message.
Si l'utilisateur mineur décide tout de même de visualiser l'image, les parents pourront recevoir une notification. Idem lorsque le mineur décide de partager une photo intime. Les notifications parentales sont optionnelles pour les enfants de moins de 13 ans, et pas disponibles pour les enfants âgés entre 13 et 17 ans. Messages s'appuie sur un traitement d'apprentissage automatique réalisé à même l'appareil pour analyser l'image et déterminer s'il s'agit d'un contenu sexuellement explicite. Bien sûr, Apple n'a pas accès aux messages.
Cette fonction sera disponible dans iOS 15, iPadOS 15 et macOS Monterey, pour les comptes Apple configurés en partage familial.
Un Genius à la maison : comment bien gérer le partage familial
La technologie de détection d'images pédophiles (CSAM pour Child Sexual Abuse Material) fera son apparition dans iOS et iPadOS. Elle permettra à l'appareil d'examiner les images stockées dans la bibliothèque photos, et en cas de détection de cas d'abus sexuels sur des enfants, Apple sera en mesure d'alerter le National Center for Missing and Exploited Children (NCMEC), une organisation qui travaille avec les forces de l'ordre américaines.
Cette technologie baptisée NeuralHash (et non pas NeuralMatch comme les indiscrétions l'ont annoncé tout à l'heure) analyse l'image et la convertit en une suite de chiffres. Les images en question peuvent être recadrées ou éditées, cela n'affectera pas le NeuralHash.
Avant qu'une image ne soit téléversée dans la bibliothèque iCloud, la méthode fait correspondre ces numéros avec ceux d'une base de données du NCMEC et d'autres groupes de défense des enfants. Apple transformera cette base de données en un ensemble de hashes qui sera stocké de manière sécurisée sur les appareils.
En cas de correspondance, l'appareil génère un jeton cryptographique et un « dérivé visuel » qui sont téléversés dans la bibliothèque iCloud Photos, en même temps que l'image. Une fois qu'un seuil (non révélé) de correspondances est dépassé, Apple s'empare des jetons et examine manuellement chaque rapport pour constater la correspondance, ou pas. Le compte iCloud est ensuite désactivé, et un rapport est envoyé au NCMEC qui prendra les mesures qui s'imposent.
Apple garantit un niveau « extrêmement élevé » de vigilance afin que les comptes ne soient pas signalés de manière incorrecte. Il va falloir faire confiance au constructeur sur ce coup là. Il donne plusieurs avantages à son système : cela lui permet d'identifier des images pédophiles stockées dans des bibliothèque iCloud Photos, tout en protégeant la vie privée de l'utilisateur.
Apple n'apprend l'existence des photos des utilisateurs que lorsqu'une collection de photos correspondantes à la base de données est présente dans un compte iCloud. Et même dans ce cas, Apple n'a accès qu'à ces images, pas aux autres qui ne correspondent pas.
Le constructeur ajoute que la base de données est invisible aux yeux de l'utilisateur, le système se veut « très précis » avec un taux très faible d'erreur, et plus respectueux de la confidentialité que le scan des photos sur les serveurs, bien que le constructeur ait admis utiliser ce type de technologie l'an dernier :
La lutte contre la pédophilie se mène aussi sur iCloud
On comprend donc que si le traitement de la correspondance entre la base de données et les photos de l'utilisateur se réalise à même l'appareil, il faut tout de même que les images soient téléversées dans le nuage d'iCloud afin qu'Apple puisse prévenir les autorités. La Pomme a confirmé que si iCloud Photos était désactivé sur l'appareil, il ne sera pas possible de détecter des images qui correspondent à la base de données CSAM.
À des degrés divers, d'autres entreprises scannent les images de leurs utilisateurs comme Twitter, Microsoft, Facebook et Google.
And if you’re wondering whether Google scans images for child abuse imagery, I answered that in the story I wrote eight years ago: it’s been doing that **SINCE 2008**. Maybe all sit down and put your hats back on. pic.twitter.com/ruJ4Z8SceY
— Charles Arthur (@charlesarthur) August 5, 2021
Dernier volet de cet ensemble de mesures de protection, Siri et les fonctions de recherche d'iOS/iPadOS 15, de watchOS 8 et de macOS Monterey vont proposer des liens pour rapporter des cas d'exploitation sexuelle de mineurs, au cas où l'utilisateur le demanderait.
Ça c’est du travail bravo APPLE 🍏 👏
L'enfer est pavé de bonnes intentions.
"Think different" et "don't be evil" qu'ils disaient.....
Demain, les dictatures du moyen-orient demanderons le signalement automatique des homosexuels. Très facile à déterminer : photos de teubs différentes ou de mecs dans le répertoire Photos. D'ailleurs xvideos tague automatiquement les vidéos gay / hétéro, alors pourquoi pas Apple dans une dictature ?
A ce stade cela ne vous gêne pas, pas vrai ?
Bref, ce n'est qu'un exemple. Demain la Russie, la Chine, la Fr..... voudrons un système équivalent pour protéger on ne sait qui d'un on ne sait quoi.
Les images des pires crimes circulent sur internet, depuis sa création, et sont à votre portée. Alors accepter l'abus de votre confiance de bon père/mère de famille basé la peur irrationnelle que ces/des enfants se fassent violer dans une cave pour justifier le déploiement d'un faux système de sécurité, c'est juste que vous avez un manque d'éducation abyssal, et que ça se retournera contre vous.
Il y a un juste milieu entre sécurité et liberté, et là, ont franchi une fois de plus les bornes, en mode minority report.
Aussi, la montée du puritanisme dans les valeurs des sociétés européennes est très inquiétante.
@nicopulse
"A ce stade cela ne vous gêne pas, pas vrai ?"
Ne pensez pas pour moi merci
@nicopulse
Oui, Apple est en train de s’embourber. La Chine peut pondre une loi qui oblige à chercher les drapeaux tibétains qui sont interdits par exemple.
Point de départ de toutes les dérives possibles…
@pillouti
J’étais sûr qu’on aurait ce genre de commentaire.
@bazino
"J’étais sûr qu’on aurait ce genre de commentaire."
Le Francais a l’esprit de contradiction facile et un penchant pour les theories du complot 😌 Ce qui n’a rien a voir avec l’esprit critique 😔
@Paquito06
pas l'américain ni le suisse-allemand ?
@oomu
Ça serait sympa de ne pas oublier le belge et le danois …
@romainB84
Pas tous les Belges, seulement ceux qui ont la frite 😅
@oomu
"pas l'américain ni le suisse-allemand ?"
L’Américain évolue dans une culture différente où l’esprit critique est beaucoup plus rare et moins affuté, en moyenne, sauf pour l’élite. Pas besoin de faire partie de l’élite en France pour retourner des cerveaux.
Le Suisse-allemand est déjà plus proche du Francais en ce sens (ma mere est suisse allemande, j’en sais un peu), et bien plus detaché de l’Americain.
@Paquito06
Oui, et le Français fait des généralités sur les Américains qui ne sont pas très étayées.
Le Suisse Allemand, je ne dis pas. J’imagine mal Sacha Baron Cohen en culotte de peau.
@Paquito06
Je vais citer Luc Julia : « le français sait toujours tout … et même quand il ne sait pas… il sait quand même »😅
(Quand tu te balades sur ce forum, tu réalises à quel point cette phrase est vraie 🤣).
@romainB84
Ahah. J’apprecie bien Luc en plus 😃
@Paquito06
Ah c’est un sacré caractère ce garçon ^^.
Il n’a pas la langue dans sa poche comme on dit 🙃.
@romainB84
« Je vais citer Luc Julia : « le français sait toujours tout … et même quand il ne sait pas… il sait quand même »😅 »
Eh ben, t’es un bon français, alors.
@bazino
Donc si j’ai bien compris:
1) nos appareils analysent toutes nos photos et les comparent avec une base de données
2) si l’appareil détecte qu’une de nos photos est suspecte, il la transmet à Apple
3) Apple analyse l’image et prend action en fonction du résultat
Nous sommes donc sensés faire une confiance aveugle à Apple concernant ce processus, accepter que toutes nos photos soient analysées par un programme et potentiellement transmises à des humains?
Et ne surtout pas nous poser des questions sur le futur? Un futur où l’IA essayera de détecter tout ce qui peut être considéré illégal (voire juste immoral)?
Est ce qu’on a également eu raison de donner les pleins pouvoirs aux agences gouvernementales US pour combattre le terrorisme?
@Xap
Oui tu as raison. Laissons ces individus tranquilles, après tout on n’a que peu de chance que ça nous arrive. Croisons les doigts pour que ça arrive aux enfants des autres et fermons les yeux.
En plus mon fils a 16 ans, ça ne risque plus de lui arriver. Vive la bien-pensance, vive ma liberté de pouvoir être un gros degueulasse si j’en ai envie !
(Et pendant que j’y suis, vive ma liberté de ne pas me faire vacciner)
Notre société arrive vraiment en fin de race.
y a la solution radicale, les pedo les pendre par les pieds. et y en aura plus. comme ça le vol a été éradiqué au moyen âge. et c'est plus efficace ce que fait Apple.
@marenostrum
le vol a été éradiqué au Moyen Âge ? Vraiment ?
Sinon, c’est bien connu, la menace d’une sanction exemplaire marche parfaitement avec les aliénations mentales… 🙄
@marenostrum
“y a la solution radicale, les pedo les pendre par les pieds. et y en aura plus. comme ça le vol a été éradiqué au moyen âge. “
Ah d’accord, je me demandais comment l’Occident était passé à une totale absence de criminalité à partir du 17 Mars 1327 à 6h17. Je pensais éventuellement à un alignement d’étoiles ou une conjonction astrologique Mars/Jupiter/Uranus dans la troisième maison du Verseau.
Maintenant je sais. Merci 🙏 pour ma culture générale !
@marenostrum
C’est bien, ton appel au lynchage.
Tu paies un truc particulier à MacG pour avoir le droit d’y être abject (en plus de stupide en permanence, mais ça…) ?
@bazino
Si tu ne peux pas avoir une discussion avec ton fils, pour lui dire que c’est potentiellement dangereux d’avoir ce genre d’échange par message avec des inconnus, c’est pas à une boîte privée (comme Apple) de se subsister à des cours d’éducation parentale.
On prend le problème à l’envers… la technologie ne devrait pas remplacer la pédagogie ni l’éducation d’un parent à son enfant.
@anti2703 |
Très gros +1
@bazino
1. Selon Les critères psychiatriques de nos pays, le gros dégueulasse est un malade.
2. Certains gros dégueulasse assouvissent leurs penchants sur des photos et cela peut suffire à les contenter. Que feront-ils quand ils ne le pourront plus ?
3. Je pense que la plupart de ces gros dégueulasses ne sont pas complètement stupides et arrêteront de stocker de telles images dans des endroits qu’ils savent ne pas être sûrs. Du coup ils ne seront pas embêtés, mais nous, les saints, nous le serons.
4. Qu’est-ce qu’une image pédophile ? Si, pour éviter de vomir, je préfère ne pas imaginer où est la frontière de fin, je ne sais malheureusement pas où est là frontière de début. Et c’est un problème si les citoyens doivent respecter la loi sans la connaître précisément. D’ailleurs, je suppose que la loi n’est pas la même partout…
5. Qui définit cette limite ?
Tout ça ce sont des questions qui se posent pour des choses aussi graves que la pédophilie, alors qu’en sera-t-il quand ces outils serviront à des crimes aussi anodins que fumer, ou dire du mal du chef de l’État ?
@Derw
"qu’en sera-t-il quand ces outils serviront à des crimes aussi anodins que fumer, ou dire du mal du chef de l’État ?"
« Matthew Green, a cryptography researcher at Johns Hopkins University, warned that the system could be used to frame innocent people by sending them seemingly innocuous images designed to trigger matches for child abuse images. That could fool Apple’s algorithm and alert law enforcement. “Researchers have been able to do this pretty easily,” he said of the ability to trick such systems.
Other abuses could include government surveillance of dissidents or protesters. “What happens when the Chinese government says: ‘Here is a list of files that we want you to scan for,’” Green asked. “Does Apple say no? I hope they say no, but their technology won’t say no.” »
https://www.theguardian.com/technology/2021/aug/06/apple-plans-to-scan-us-iphones-for-child-sexual-abuse-images
Dans les Physiciens de Dürrenmatt, le chercheur réfugié dans un asile pour tenter d’empêcher que l’on n’abuse pas de ses découvertes doit se résigner à ce constat, anodin en apparence : « Ce qui a été conçu cesse à jamais d’être inconcevable. »
@occam
+1
@bazino
« Laissons ces individus tranquilles »
Ce n’est pas parce qu’il existe de la pedopornographie (différente de la pédophilie, différente elle-même de la pédocriminalité) qu’il faut en soupçonner tout le monde et se mettre à une surveillance de masse.
C’est complètement fou.
Comme le disent beaucoup, on s’arrête ou ?
J’ai du mal à croire que cette idée soit sérieuse, tellement elle potentiellement dangereuse !
@bazino
Pas mieux +1
@Xap
A priori vous n'avez rien compris. Peut-être une lecture du document original en anglais ?
@ Cap
"Tout ce que j'aime est immoral, illégal ou fait grossir"
Maud de Belleroche
Le système d’alerte parents / enfants est une bonne idée.
Espérons que tout soit bien fait en local, et qu’on ne découvre pas après coup que des échantillons (comme cela avait été le cas à un moment avec Siri) sont transmis pour vérification.
L’idée est bien, il faut que, comme annoncé, Apple monte pate blanche sur le traitement.
@juliuslechien
"Espérons que tout soit bien fait en local, et qu’on ne découvre pas après coup que des échantillons (comme cela avait été le cas à un moment avec Siri) sont transmis pour vérification."
Il serait bon de savoir en effet ce qui est partagé lorsqu’on partage avec Apple volontairement ses données (crash, rapport, diagnostics, utilisations, etc.) dans le but d’ameliorer les produits, par exemple. Forcement, tout a ete fait en lab au sein d’Apple jusqu’a present, mais quand ils vont balancer ca au public (USA c’est 330M d’habitants), il va bien falloir recuperer de la data pour perfectionner l’IA. Sans compter sur tous les workaround que les malandrins s’efforceront de trouver au fil du temps pour bypasser ce nouveau mecanisme.
On parle souvent des dérives de la technologies à des fins peu scrupuleuses, je dois saluer cette initiative qui permet de protéger les plus vulnérables des prédateurs.
@ArthurPrchy
« permet de protéger les plus vulnérables des prédateurs. »
Si vous parlez de la première mesure, oui, cela peut être une bonne idée. Par contre, si vous parlez de la seconde, je doute qu’elle protège grand monde. La plupart de ces (prédateurs) ne seront pas assez stupides pour se faire avoir.
@ArthurPrchy
What happens on your iPhone stays on your iPhone ??
Qu’ils regardent sur iCloud s’ils veulent mais sur l’iPhone en lui-même va falloir revoir les messages de la com parce que si le but est effectivement louable, ça ternit un peu la croisade de la vie privée.
Ok pour lutter contre la pédopornographie et le terrorisme. Mais demain, ce sera quoi ? Où sera fixée la frontière entre le bien et le mal ? 🤔
@LeDan
Toujours le même choix cornélien : pour protéger les plus faibles, les plus exposés, on contraint tout le monde ou bien pour garantir les libertés on laisse grand ouvert et chacun se débrouille. Tient, ça me fait penser à un autre problème épineux actuel…
Ce combat est très important, sain et noble. Ayant été victime de pédocriminalité je ne peux qu’applaudir.
Néanmoins il nous faudra avoir une vigilance importante sur les périmètres de ce genre d’action. Sur l’App Store, Apple lie généralement pédopornographie et terrorisme, voire parfois pornographie tout court, travail du sexe, et violence politique. Et les attaques puritaines contre Tumblr et Telegram ont fait beaucoup de dégâts.
Appliquer cela uniquement à la pédopornographie et avec les engagements forts de respect de la vie privée, c’est très bien !
Attention à ce que demain cela ne soit pas élargit régulièrement jusqu’à une situation où Apple devrait dénoncer les activistes kurdes du PKK où les dissidents de Hong Kong aux autorités, au nom d’une lutte sans distinction contre « le terrorisme ».
Par ailleurs il est louable de vouloir protéger les enfants dans les messageries. Mais qui décide de la limite d’âge ? On ne va pas relancer tout un débat là-dessus, mais un ou une ado de 16 ou 17 ans qui envoie des photos à leur amour qui vient d’en avoir 18 ne devrait pas requérir l’accord des parents, qui sont déjà assez intrusifs comme cela. D’autant plus quand on sait à quel point l’homosexualité est souvent traitée différemment, avec des seuils de « majorité sexuelle » encore différenciés un peu partout dans le monde, et plus de risque si les parents mettent leur nez là-dedans.
Bref, éradiquons la pédocriminalité en s’en donnant les moyens nécessaires, mais gardons une vigilance sur l’évolution des limites de ce qui est ou pas susceptible d’être combattu avec ces mêmes outils !
@MickaelBazoge
Oui les messageries temporaires ont de beaux jours devant eux pour ce type d’échange entre jeunes.
@MickaelBazoge
Oui, je n’ai pas osé détailler sur les fait que en tant qu’ados on trouve toujours des solutions de contournement et qu’on se met potentiellement encore plus en danger. Si Snapchat, TikTok, Instagram, WhatsApp et Telegram faisaient ça de concert, super ! Mais si seul iMessage le fait, ben ça prendra 30 secondes pour changer de messagerie…
Tiens, ça me fait penser à la criminalisation de la prostitution qui, au lieu de l’éradiquer, bien au contraire, pousse des personnes déjà vulnérables dans des situations encore plus dangereuses. De même que la drogue.
D’ailleurs les parents qui expliquent aux enfants comment éviter les pires mélanges d’alcools & autres substances plutôt que de dire « va de rétro satanas » à la moindre bière évitent bien plus de vrais dangers, en le gardant raisonnable, sous contrôle, et avec de la confiance.
L’idée d’Apple part d’un bon sentiment, mais clairement c’est à l’École et aux parents d’éduquer sur ces questions, pas à iMessage…
@MickaelBazoge
Tu peux bien mettre n’importe quelle mesure « technique » ou « technologique » en place… la seule et unique solution reste l’éducation et la prévention des parents.
Ça semble « facile » comme phrase je sais…mais quand on voit les propos (je vais employer des mots forts mais … Stéphane pourra le confirmer c’est lui qui a modéré la conversation dans l’autre article) à la limite du nazisme de certain juste parce qu’on est pas d’accord avec eux (résumé : le jeune homme avait été grossier… j’ai cliqué sur le bouton « signaler » il a ajouté un commentaire en « allemand » : « et en plus il est partisan de la délation …BRAVO…»….on se dit que n’importe quel problème ne peut être réglé par une solution technique mais par de l’éducation « parents/enfants » (clairement ce jeune homme a eu des lacunes d’éducation)🙂.
Dans le cas de l’article ici, on voit bien que si l’on ne veut pas que les enfants contournent la solution technique il faut avant tout dialoguer avec eux pour leur expliquer les risques (j’ai eu à gérer un cas un peu « border Line » à l’école cette année … et devoir aborder les problèmes de sexualités avec des enfants de 7 ans… c’est bizarre ok mais indispensable) 🙂.
@MickaelBazoge
🙏merci !!!
@MickaelBazoge
J’aime ce commentaire 👌🏻
@MickaelBazoge
"Oui, je plussoie sur les commentaires, c'est… spécial en ce moment. Les abrutis ne sont pas très nombreux, mais ils l'ouvrent très fort et c'est pénible pour tout le monde."
Pourtant l’arricle est bien rédigé, et si on lit, on comprend. A voir ce que va faire la concurrence (les samsung, xiaomi, google, android, en surcouche ou natif).
On connait la qualite Apple. Ils vont pas sortir cette fonctionnalite en beta, ils doivent plancher la dessus depuis des annees. On se rappelle de Touch ID, Face ID, quand ces features sont sorties, elles etaient abouties,l, et on a eu le meme lot de commentaires/reactions a la sortie au sujet de la vie privee, remise en cause de l’efficacite, etc. 😫
@Paquito06
apparement la concurrence le fait deja donc bon...
@raoolito
"apparement la concurrence le fait deja donc bon..."
Cool, merci 👍🏼
@romainB84
"la seule et unique solution reste l’éducation et la prévention des parents"
OUI !!
Merci pour cette évidence qui mérite visiblement d’être rappelée.
Pages