Photos, Messages : Apple dévoile de nouveaux mécanismes pour lutter contre la pédopornographie

Mickaël Bazoge |

Après les rumeurs, on s'attendait à une annonce en bonne et due forme et c'est chose faite ce soir : Apple va bel et bien intégrer dans l'iPhone une technologie de détection d'images pédopornographiques qui va scanner les images à même l'appareil… Mais c'est un peu plus compliqué que cela, et ce n'est pas le seul mécanisme de sécurité dédié à la protection de l'enfance que le constructeur présente sur ce nouveau site.

Il y a en fait trois mesures qui vont être mises en place plus tard cette année, qui vont se limiter aux États-Unis pour le moment. Apple fournit un livre blanc technique sur l'ensemble de ces mesures.

L'application Messages va bénéficier de nouveaux outils qui vont prévenir l'enfant utilisateur que tel contenu partagé est potentiellement sensible (on peut penser à des photos sexuellement explicites envoyées par des prédateurs). À la réception de telles images, elles seront floutées et l'enfant recevra une alerte sur la nature litigieuse du message.

Si l'utilisateur mineur décide tout de même de visualiser l'image, les parents pourront recevoir une notification. Idem lorsque le mineur décide de partager une photo intime. Les notifications parentales sont optionnelles pour les enfants de moins de 13 ans, et pas disponibles pour les enfants âgés entre 13 et 17 ans. Messages s'appuie sur un traitement d'apprentissage automatique réalisé à même l'appareil pour analyser l'image et déterminer s'il s'agit d'un contenu sexuellement explicite. Bien sûr, Apple n'a pas accès aux messages.

Cette fonction sera disponible dans iOS 15, iPadOS 15 et macOS Monterey, pour les comptes Apple configurés en partage familial.

Un Genius à la maison : comment bien gérer le partage familial

Un Genius à la maison : comment bien gérer le partage familial


La technologie de détection d'images pédophiles (CSAM pour Child Sexual Abuse Material) fera son apparition dans iOS et iPadOS. Elle permettra à l'appareil d'examiner les images stockées dans la bibliothèque photos, et en cas de détection de cas d'abus sexuels sur des enfants, Apple sera en mesure d'alerter le National Center for Missing and Exploited Children (NCMEC), une organisation qui travaille avec les forces de l'ordre américaines.

Cette technologie baptisée NeuralHash (et non pas NeuralMatch comme les indiscrétions l'ont annoncé tout à l'heure) analyse l'image et la convertit en une suite de chiffres. Les images en question peuvent être recadrées ou éditées, cela n'affectera pas le NeuralHash.

L'image originale à gauche est quasiment identique à celle de l'image du centre : elles ont le même NeuralHash. En revanche, l'image de droite présente un contenu différent, donc le numéro est différent.

Avant qu'une image ne soit téléversée dans la bibliothèque iCloud, la méthode fait correspondre ces numéros avec ceux d'une base de données du NCMEC et d'autres groupes de défense des enfants. Apple transformera cette base de données en un ensemble de hashes qui sera stocké de manière sécurisée sur les appareils.

En cas de correspondance, l'appareil génère un jeton cryptographique et un « dérivé visuel » qui sont téléversés dans la bibliothèque iCloud Photos, en même temps que l'image. Une fois qu'un seuil (non révélé) de correspondances est dépassé, Apple s'empare des jetons et examine manuellement chaque rapport pour constater la correspondance, ou pas. Le compte iCloud est ensuite désactivé, et un rapport est envoyé au NCMEC qui prendra les mesures qui s'imposent.

Apple garantit un niveau « extrêmement élevé » de vigilance afin que les comptes ne soient pas signalés de manière incorrecte. Il va falloir faire confiance au constructeur sur ce coup là. Il donne plusieurs avantages à son système : cela lui permet d'identifier des images pédophiles stockées dans des bibliothèque iCloud Photos, tout en protégeant la vie privée de l'utilisateur.

Apple n'apprend l'existence des photos des utilisateurs que lorsqu'une collection de photos correspondantes à la base de données est présente dans un compte iCloud. Et même dans ce cas, Apple n'a accès qu'à ces images, pas aux autres qui ne correspondent pas.

Le constructeur ajoute que la base de données est invisible aux yeux de l'utilisateur, le système se veut « très précis » avec un taux très faible d'erreur, et plus respectueux de la confidentialité que le scan des photos sur les serveurs, bien que le constructeur ait admis utiliser ce type de technologie l'an dernier :

La lutte contre la pédophilie se mène aussi sur iCloud

La lutte contre la pédophilie se mène aussi sur iCloud

On comprend donc que si le traitement de la correspondance entre la base de données et les photos de l'utilisateur se réalise à même l'appareil, il faut tout de même que les images soient téléversées dans le nuage d'iCloud afin qu'Apple puisse prévenir les autorités. La Pomme a confirmé que si iCloud Photos était désactivé sur l'appareil, il ne sera pas possible de détecter des images qui correspondent à la base de données CSAM.

À des degrés divers, d'autres entreprises scannent les images de leurs utilisateurs comme Twitter, Microsoft, Facebook et Google.


Dernier volet de cet ensemble de mesures de protection, Siri et les fonctions de recherche d'iOS/iPadOS 15, de watchOS 8 et de macOS Monterey vont proposer des liens pour rapporter des cas d'exploitation sexuels de mineurs, au cas où l'utilisateur le demanderait.


avatar R-APPLE-R | 

Ça c’est du travail bravo APPLE 🍏 👏

avatar nicopulse | 

L'enfer est pavé de bonnes intentions.

"Think different" et "don't be evil" qu'ils disaient.....

Demain, les dictatures du moyen-orient demanderons le signalement automatique des homosexuels. Très facile à déterminer : photos de teubs différentes ou de mecs dans le répertoire Photos. D'ailleurs xvideos tague automatiquement les vidéos gay / hétéro, alors pourquoi pas Apple dans une dictature ?

A ce stade cela ne vous gêne pas, pas vrai ?

Bref, ce n'est qu'un exemple. Demain la Russie, la Chine, la Fr..... voudrons un système équivalent pour protéger on ne sait qui d'un on ne sait quoi.

Les images des pires crimes circulent sur internet, depuis sa création, et sont à votre portée. Alors accepter l'abus de votre confiance de bon père/mère de famille basé la peur irrationnelle que ces/des enfants se fassent violer dans une cave pour justifier le déploiement d'un faux système de sécurité, c'est juste que vous avez un manque d'éducation abyssal, et que ça se retournera contre vous.

Il y a un juste milieu entre sécurité et liberté, et là, ont franchi une fois de plus les bornes, en mode minority report.
Aussi, la montée du puritanisme dans les valeurs des sociétés européennes est très inquiétante.

avatar R-APPLE-R | 

@nicopulse

"A ce stade cela ne vous gêne pas, pas vrai ?"

Ne pensez pas pour moi merci

avatar headoverheel | 

@nicopulse

Oui, Apple est en train de s’embourber. La Chine peut pondre une loi qui oblige à chercher les drapeaux tibétains qui sont interdits par exemple.

avatar pillouti | 

Point de départ de toutes les dérives possibles…

avatar bazino | 

@pillouti

J’étais sûr qu’on aurait ce genre de commentaire.

avatar Paquito06 | 

@bazino

"J’étais sûr qu’on aurait ce genre de commentaire."

Le Francais a l’esprit de contradiction facile et un penchant pour les theories du complot 😌 Ce qui n’a rien a voir avec l’esprit critique 😔

avatar oomu | 

@Paquito06

pas l'américain ni le suisse-allemand ?

avatar romainB84 | 

@oomu

Ça serait sympa de ne pas oublier le belge et le danois …

avatar DG33 | 

@romainB84

Pas tous les Belges, seulement ceux qui ont la frite 😅

avatar Paquito06 | 

@oomu

"pas l'américain ni le suisse-allemand ?"

L’Américain évolue dans une culture différente où l’esprit critique est beaucoup plus rare et moins affuté, en moyenne, sauf pour l’élite. Pas besoin de faire partie de l’élite en France pour retourner des cerveaux.
Le Suisse-allemand est déjà plus proche du Francais en ce sens (ma mere est suisse allemande, j’en sais un peu), et bien plus detaché de l’Americain.

avatar DahuLArthropode | 

@Paquito06

Oui, et le Français fait des généralités sur les Américains qui ne sont pas très étayées.
Le Suisse Allemand, je ne dis pas. J’imagine mal Sacha Baron Cohen en culotte de peau.

avatar romainB84 | 

@Paquito06

Je vais citer Luc Julia : « le français sait toujours tout … et même quand il ne sait pas… il sait quand même »😅
(Quand tu te balades sur ce forum, tu réalises à quel point cette phrase est vraie 🤣).

avatar Paquito06 | 

@romainB84

Ahah. J’apprecie bien Luc en plus 😃

avatar romainB84 | 

@Paquito06

Ah c’est un sacré caractère ce garçon ^^.
Il n’a pas la langue dans sa poche comme on dit 🙃.

avatar Bigdidou | 

@romainB84

« Je vais citer Luc Julia : « le français sait toujours tout … et même quand il ne sait pas… il sait quand même »😅 »

Eh ben, t’es un bon français, alors.

avatar Xap | 

@bazino

Donc si j’ai bien compris:

1) nos appareils analysent toutes nos photos et les comparent avec une base de données

2) si l’appareil détecte qu’une de nos photos est suspecte, il la transmet à Apple

3) Apple analyse l’image et prend action en fonction du résultat

Nous sommes donc sensés faire une confiance aveugle à Apple concernant ce processus, accepter que toutes nos photos soient analysées par un programme et potentiellement transmises à des humains?

Et ne surtout pas nous poser des questions sur le futur? Un futur où l’IA essayera de détecter tout ce qui peut être considéré illégal (voire juste immoral)?

Est ce qu’on a également eu raison de donner les pleins pouvoirs aux agences gouvernementales US pour combattre le terrorisme?

avatar bazino | 

@Xap

Oui tu as raison. Laissons ces individus tranquilles, après tout on n’a que peu de chance que ça nous arrive. Croisons les doigts pour que ça arrive aux enfants des autres et fermons les yeux.
En plus mon fils a 16 ans, ça ne risque plus de lui arriver. Vive la bien-pensance, vive ma liberté de pouvoir être un gros degueulasse si j’en ai envie !
(Et pendant que j’y suis, vive ma liberté de ne pas me faire vacciner)
Notre société arrive vraiment en fin de race.

avatar marenostrum | 

y a la solution radicale, les pedo les pendre par les pieds. et y en aura plus. comme ça le vol a été éradiqué au moyen âge. et c'est plus efficace ce que fait Apple.

avatar Silverscreen | 

@marenostrum

le vol a été éradiqué au Moyen Âge ? Vraiment ?
Sinon, c’est bien connu, la menace d’une sanction exemplaire marche parfaitement avec les aliénations mentales… 🙄

avatar IceWizard | 

@marenostrum

“y a la solution radicale, les pedo les pendre par les pieds. et y en aura plus. comme ça le vol a été éradiqué au moyen âge. “

Ah d’accord, je me demandais comment l’Occident était passé à une totale absence de criminalité à partir du 17 Mars 1327 à 6h17. Je pensais éventuellement à un alignement d’étoiles ou une conjonction astrologique Mars/Jupiter/Uranus dans la troisième maison du Verseau.

Maintenant je sais. Merci 🙏 pour ma culture générale !

avatar Bigdidou | 

@marenostrum

C’est bien, ton appel au lynchage.
Tu paies un truc particulier à MacG pour avoir le droit d’y être abject (en plus de stupide en permanence, mais ça…) ?

avatar anti2703 | 

@bazino

Si tu ne peux pas avoir une discussion avec ton fils, pour lui dire que c’est potentiellement dangereux d’avoir ce genre d’échange par message avec des inconnus, c’est pas à une boîte privée (comme Apple) de se subsister à des cours d’éducation parentale.

On prend le problème à l’envers… la technologie ne devrait pas remplacer la pédagogie ni l’éducation d’un parent à son enfant.

avatar debione | 

@anti2703 |
Très gros +1

avatar Derw | 

@bazino

1. Selon Les critères psychiatriques de nos pays, le gros dégueulasse est un malade.
2. Certains gros dégueulasse assouvissent leurs penchants sur des photos et cela peut suffire à les contenter. Que feront-ils quand ils ne le pourront plus ?
3. Je pense que la plupart de ces gros dégueulasses ne sont pas complètement stupides et arrêteront de stocker de telles images dans des endroits qu’ils savent ne pas être sûrs. Du coup ils ne seront pas embêtés, mais nous, les saints, nous le serons.
4. Qu’est-ce qu’une image pédophile ? Si, pour éviter de vomir, je préfère ne pas imaginer où est la frontière de fin, je ne sais malheureusement pas où est là frontière de début. Et c’est un problème si les citoyens doivent respecter la loi sans la connaître précisément. D’ailleurs, je suppose que la loi n’est pas la même partout…
5. Qui définit cette limite ?

Tout ça ce sont des questions qui se posent pour des choses aussi graves que la pédophilie, alors qu’en sera-t-il quand ces outils serviront à des crimes aussi anodins que fumer, ou dire du mal du chef de l’État ?

avatar occam | 

@Derw

"qu’en sera-t-il quand ces outils serviront à des crimes aussi anodins que fumer, ou dire du mal du chef de l’État ?"

« Matthew Green, a cryptography researcher at Johns Hopkins University, warned that the system could be used to frame innocent people by sending them seemingly innocuous images designed to trigger matches for child abuse images. That could fool Apple’s algorithm and alert law enforcement. “Researchers have been able to do this pretty easily,” he said of the ability to trick such systems.

Other abuses could include government surveillance of dissidents or protesters. “What happens when the Chinese government says: ‘Here is a list of files that we want you to scan for,’” Green asked. “Does Apple say no? I hope they say no, but their technology won’t say no.” »

https://www.theguardian.com/technology/2021/aug/06/apple-plans-to-scan-us-iphones-for-child-sexual-abuse-images

Dans les Physiciens de Dürrenmatt, le chercheur réfugié dans un asile pour tenter d’empêcher que l’on n’abuse pas de ses découvertes doit se résigner à ce constat, anodin en apparence : « Ce qui a été conçu cesse à jamais d’être inconcevable. »

avatar Derw | 

@occam

+1

avatar Bigdidou | 

@bazino

« Laissons ces individus tranquilles »

Ce n’est pas parce qu’il existe de la pedopornographie (différente de la pédophilie, différente elle-même de la pédocriminalité) qu’il faut en soupçonner tout le monde et se mettre à une surveillance de masse.

C’est complètement fou.

Comme le disent beaucoup, on s’arrête ou ?

J’ai du mal à croire que cette idée soit sérieuse, tellement elle potentiellement dangereuse !

avatar isaac_sts | 

@bazino

Pas mieux +1

avatar nespresso92 | 

@Xap

A priori vous n'avez rien compris. Peut-être une lecture du document original en anglais ?

avatar DuBrechaud | 

@ Cap
"Tout ce que j'aime est immoral, illégal ou fait grossir"
Maud de Belleroche

avatar juliuslechien | 

Le système d’alerte parents / enfants est une bonne idée.
Espérons que tout soit bien fait en local, et qu’on ne découvre pas après coup que des échantillons (comme cela avait été le cas à un moment avec Siri) sont transmis pour vérification.
L’idée est bien, il faut que, comme annoncé, Apple monte pate blanche sur le traitement.

avatar Paquito06 | 

@juliuslechien

"Espérons que tout soit bien fait en local, et qu’on ne découvre pas après coup que des échantillons (comme cela avait été le cas à un moment avec Siri) sont transmis pour vérification."

Il serait bon de savoir en effet ce qui est partagé lorsqu’on partage avec Apple volontairement ses données (crash, rapport, diagnostics, utilisations, etc.) dans le but d’ameliorer les produits, par exemple. Forcement, tout a ete fait en lab au sein d’Apple jusqu’a present, mais quand ils vont balancer ca au public (USA c’est 330M d’habitants), il va bien falloir recuperer de la data pour perfectionner l’IA. Sans compter sur tous les workaround que les malandrins s’efforceront de trouver au fil du temps pour bypasser ce nouveau mecanisme.

avatar ArthurPrchy | 

On parle souvent des dérives de la technologies à des fins peu scrupuleuses, je dois saluer cette initiative qui permet de protéger les plus vulnérables des prédateurs.

avatar Derw | 

@ArthurPrchy

« permet de protéger les plus vulnérables des prédateurs. »

Si vous parlez de la première mesure, oui, cela peut être une bonne idée. Par contre, si vous parlez de la seconde, je doute qu’elle protège grand monde. La plupart de ces (prédateurs) ne seront pas assez stupides pour se faire avoir.

avatar Dodo8 | 

@ArthurPrchy

What happens on your iPhone stays on your iPhone ??

Qu’ils regardent sur iCloud s’ils veulent mais sur l’iPhone en lui-même va falloir revoir les messages de la com parce que si le but est effectivement louable, ça ternit un peu la croisade de la vie privée.

avatar LeDan | 

Ok pour lutter contre la pédopornographie et le terrorisme. Mais demain, ce sera quoi ? Où sera fixée la frontière entre le bien et le mal ? 🤔

avatar joelcro | 

@LeDan

Toujours le même choix cornélien : pour protéger les plus faibles, les plus exposés, on contraint tout le monde ou bien pour garantir les libertés on laisse grand ouvert et chacun se débrouille. Tient, ça me fait penser à un autre problème épineux actuel…

avatar Lu Canneberges | 

Ce combat est très important, sain et noble. Ayant été victime de pédocriminalité je ne peux qu’applaudir.

Néanmoins il nous faudra avoir une vigilance importante sur les périmètres de ce genre d’action. Sur l’App Store, Apple lie généralement pédopornographie et terrorisme, voire parfois pornographie tout court, travail du sexe, et violence politique. Et les attaques puritaines contre Tumblr et Telegram ont fait beaucoup de dégâts.

Appliquer cela uniquement à la pédopornographie et avec les engagements forts de respect de la vie privée, c’est très bien !

Attention à ce que demain cela ne soit pas élargit régulièrement jusqu’à une situation où Apple devrait dénoncer les activistes kurdes du PKK où les dissidents de Hong Kong aux autorités, au nom d’une lutte sans distinction contre « le terrorisme ».

Par ailleurs il est louable de vouloir protéger les enfants dans les messageries. Mais qui décide de la limite d’âge ? On ne va pas relancer tout un débat là-dessus, mais un ou une ado de 16 ou 17 ans qui envoie des photos à leur amour qui vient d’en avoir 18 ne devrait pas requérir l’accord des parents, qui sont déjà assez intrusifs comme cela. D’autant plus quand on sait à quel point l’homosexualité est souvent traitée différemment, avec des seuils de « majorité sexuelle » encore différenciés un peu partout dans le monde, et plus de risque si les parents mettent leur nez là-dedans.

Bref, éradiquons la pédocriminalité en s’en donnant les moyens nécessaires, mais gardons une vigilance sur l’évolution des limites de ce qui est ou pas susceptible d’être combattu avec ces mêmes outils !

avatar Mickaël Bazoge | 
Je me demande dans quelle mesure cette fonction dans iMessage va pas pousser les plus jeunes à migrer sur d'autres messageries (si c'est pas déjà le cas…).
avatar juliuslechien | 

@MickaelBazoge

Oui les messageries temporaires ont de beaux jours devant eux pour ce type d’échange entre jeunes.

avatar Lu Canneberges | 

@MickaelBazoge

Oui, je n’ai pas osé détailler sur les fait que en tant qu’ados on trouve toujours des solutions de contournement et qu’on se met potentiellement encore plus en danger. Si Snapchat, TikTok, Instagram, WhatsApp et Telegram faisaient ça de concert, super ! Mais si seul iMessage le fait, ben ça prendra 30 secondes pour changer de messagerie…

Tiens, ça me fait penser à la criminalisation de la prostitution qui, au lieu de l’éradiquer, bien au contraire, pousse des personnes déjà vulnérables dans des situations encore plus dangereuses. De même que la drogue.

D’ailleurs les parents qui expliquent aux enfants comment éviter les pires mélanges d’alcools & autres substances plutôt que de dire « va de rétro satanas » à la moindre bière évitent bien plus de vrais dangers, en le gardant raisonnable, sous contrôle, et avec de la confiance.

L’idée d’Apple part d’un bon sentiment, mais clairement c’est à l’École et aux parents d’éduquer sur ces questions, pas à iMessage…

avatar romainB84 | 

@MickaelBazoge

Tu peux bien mettre n’importe quelle mesure « technique » ou « technologique » en place… la seule et unique solution reste l’éducation et la prévention des parents.
Ça semble « facile » comme phrase je sais…mais quand on voit les propos (je vais employer des mots forts mais … Stéphane pourra le confirmer c’est lui qui a modéré la conversation dans l’autre article) à la limite du nazisme de certain juste parce qu’on est pas d’accord avec eux (résumé : le jeune homme avait été grossier… j’ai cliqué sur le bouton « signaler » il a ajouté un commentaire en « allemand » : « et en plus il est partisan de la délation …BRAVO…»….on se dit que n’importe quel problème ne peut être réglé par une solution technique mais par de l’éducation « parents/enfants » (clairement ce jeune homme a eu des lacunes d’éducation)🙂.
Dans le cas de l’article ici, on voit bien que si l’on ne veut pas que les enfants contournent la solution technique il faut avant tout dialoguer avec eux pour leur expliquer les risques (j’ai eu à gérer un cas un peu « border Line » à l’école cette année … et devoir aborder les problèmes de sexualités avec des enfants de 7 ans… c’est bizarre ok mais indispensable) 🙂.

avatar Mickaël Bazoge | 
Oui, je plussoie sur les commentaires, c'est… spécial en ce moment. Les abrutis ne sont pas très nombreux, mais ils l'ouvrent très fort et c'est pénible pour tout le monde.
avatar romainB84 | 

@MickaelBazoge

🙏merci !!!

avatar letofzurichois | 

@MickaelBazoge

J’aime ce commentaire 👌🏻

avatar Paquito06 | 

@MickaelBazoge

"Oui, je plussoie sur les commentaires, c'est… spécial en ce moment. Les abrutis ne sont pas très nombreux, mais ils l'ouvrent très fort et c'est pénible pour tout le monde."

Pourtant l’arricle est bien rédigé, et si on lit, on comprend. A voir ce que va faire la concurrence (les samsung, xiaomi, google, android, en surcouche ou natif).
On connait la qualite Apple. Ils vont pas sortir cette fonctionnalite en beta, ils doivent plancher la dessus depuis des annees. On se rappelle de Touch ID, Face ID, quand ces features sont sorties, elles etaient abouties,l, et on a eu le meme lot de commentaires/reactions a la sortie au sujet de la vie privee, remise en cause de l’efficacite, etc. 😫

avatar raoolito | 

@Paquito06

apparement la concurrence le fait deja donc bon...

avatar Paquito06 | 

@raoolito

"apparement la concurrence le fait deja donc bon..."

Cool, merci 👍🏼

avatar Rogntudju | 

@romainB84

"la seule et unique solution reste l’éducation et la prévention des parents"

OUI !!

Merci pour cette évidence qui mérite visiblement d’être rappelée.

Pages

CONNEXION UTILISATEUR