À propos de l’analyse CSAM proposée par Apple et pourquoi c’est un gros problème

Apple a récemment annoncé son intention d'effectuer une analyse des photos côté client sur sa plate-forme afin d'éviter qu'elle ne soit utilisée pour partager de la pédopornographie. Il a ensuite retardé ses plans après la réaction des technologues et des chercheurs en sécurité. Mais pourquoi tout ce tapage alors que l’objectif affiché est si louable ? Découvrons-le.

Début août, Apple a annoncé les changements imminents qu'il prévoyait d'apporter à ses systèmes d'exploitation, qui intégreraient de nouvelles « protections pour les enfants » dans iCloud et iMessage. Et il y a deux mécanismes dans le cadre proposé : l'un concernant iMessage et l'autre concernant les photos iCloud.

Numérisation de photos iCloud

Le premier mécanisme concerne iCloud. Apple fournit à tous ses utilisateurs une certaine quantité d'espace serveur pour stocker des éléments tels que des photos, des vidéos et des documents, les rendant ainsi accessibles depuis n'importe quel appareil de l'utilisateur sur Internet. C'est iCloud.

Avec les modifications proposées, chaque fois qu’un utilisateur télécharge une photo sur son compte iCloud, elle est numérisée localement sur son appareil avant d’être téléchargée sur les serveurs d’Apple. Le but de l’analyse est, bien entendu, de voir si elle correspond à une photo contenue dans la base de données CSAM (Connud Child Sexual Abuse Material). Cette base de données est gérée par le Centre national pour les enfants disparus et exploités (NCMEC).

Cette numérisation est réalisée à l'aide des empreintes digitales des photos appelées hachages plutôt que les photos elles-mêmes. La base de données CSAM contient des hachages et votre téléphone dérive les hachages de vos photos avant qu'elles ne soient analysées pour trouver des correspondances. Apple ne peut dire qu'une correspondance a été trouvée qu'après qu'un nombre suffisant de hachages de photos ont correspondu à un seuil prédéfini (et inconnu). Une fois ce nombre de correspondances atteint, les photos en question sont envoyées à Apple pour examen humain. Si l’examinateur humain confirme les correspondances, les photos sont envoyées au NCMEC et le compte de l’utilisateur est désactivé.

Analyse iMessage et notifications parentales

Le deuxième mécanisme est lié à l'application de messagerie iMessage. iMessage est quelque peu différent des messages texte classiques dans la mesure où il fonctionne sur Internet et est crypté de bout en bout. Grâce au cryptage de bout en bout, votre message (et toutes les pièces jointes qu'il contient) est crypté sur votre appareil avant d'être envoyé sur Internet. De cette façon, seuls vous et le destinataire prévu pouvez lire le message. Si un tiers interceptait le message en transit, il ne verrait que du charabia. Même si le message chiffré de bout en bout est stocké sur un serveur quelque part avant que le destinataire du message puisse le télécharger, il est déjà chiffré. Encore une fois, quiconque tenterait de lire le message ne verrait rien d’autre qu’une chaîne absurde de caractères aléatoires.

Le mécanisme proposé concernant iMessage fonctionnerait comme suit :

Lorsque les utilisateurs d'iMessage de moins de 13 ans partagent des photos entre eux, ces photos sont numérisées à l'aide d'un algorithme d'apprentissage automatique. Si l'image est considérée comme un contenu « sexuellement explicite », une invite s'affiche à l'utilisateur, lui offrant le choix entre :

1. ne pas envoyer ou recevoir la photo, ou
2. pour envoyer ou recevoir la photo.

Si l'utilisateur choisit l'option 1, rien ne se passe. Si l'utilisateur choisit quand même d'envoyer ou de recevoir la photo, le compte parent est averti comme configuré dans le plan de partage familial. Cela peut être désactivé dans le compte parent.

Le système proposé analyserait également les photos envoyées via iMessage par les utilisateurs âgés de 13 à 17 ans. Dans ces cas, un avertissement concernant l’envoi ou la réception d’une image « sexuellement explicite » s’affiche sans envoyer de notification aux parents.

Alors, qu'est-ce qui ne va pas?

UN Article d'opinion du New York Times , écrit par le chercheur en sécurité Matthew D. Green et le chercheur en sécurité et ancien responsable de la sécurité chez Facebook, Alex Stamos, décrit avec éloquence le nœud du problème avec le projet proposé par Apple :

La technologie impliquée dans ce plan est fondamentalement nouvelle. Même si Facebook et Google scannent depuis longtemps les photos que les gens partagent sur leurs plateformes, leurs systèmes ne traitent pas les fichiers sur votre propre ordinateur ou téléphone. Étant donné que les nouveaux outils d’Apple ont le pouvoir de traiter les fichiers stockés sur votre téléphone, ils constituent une nouvelle menace pour la vie privée.

Quelles sont exactement ces nouvelles menaces pour la vie privée ?

Analyse des téléchargements iCloud

De nombreuses entreprises analysent déjà le contenu téléchargé sur leurs serveurs. Et le plan d’Apple ressemble au programme PhotoDNA de Microsoft. Il existe cependant une différence significative dans le fonctionnement des deux systèmes. Le PhotoDNA de Microsoft se produit sur ses serveurs après le téléchargement de la photo. L'analyse d'Apple s'effectuerait directement sur votre appareil avant qu'il ne soit téléchargé sur ses serveurs. L’approche d’Apple soulève un certain nombre de questions.

• La base de données CSAM, qui serait incluse dans le système d'exploitation, n'est pas auditable. Cela soulève la question de savoir à qui appartient réellement l’iPhone. Votre téléphone analyse automatiquement votre contenu et le compare à une base de données opaque à laquelle vous n'avez pas accès.
• Votre appareil ne vous avertira pas si une correspondance a été trouvée.
• Même si les utilisateurs en ont été informés, les images traitées sont converties en hachages, de sorte que l'utilisateur ne peut pas identifier la ou les photos susceptibles d'être signalées.

Une autre menace pour la vie privée qui est régulièrement citée est que la numérisation de photos iCloud d'Apple analysera chaque photo téléchargée sur iCloud – pas seulement les photos de moins de 13 ans, et pas seulement les photos « sexuellement explicites », mais toutes les photos que les utilisateurs choisissent de télécharger sur iCloud.

On pourrait souligner que chaque photo téléchargée sur les serveurs de Microsoft est également numérisée, et ce serait exact. Cependant, l’analyse n’a pas lieu sur votre appareil. Cela se produit sur les serveurs de Microsoft. L’approche de Microsoft est moins invasive dans la mesure où elle ne retourne pas votre appareil contre vous. Il ne charge pas un policier moral virtuel sur votre téléphone. Comme le déclare l'Electronic Frontier Foundation (EFF), une organisation à but non lucratif dédiée à la défense de la vie privée numérique, de la liberté d'expression et de l'innovation,

Ne vous y trompez pas : il s’agit d’une diminution de la confidentialité pour tous les utilisateurs d’iCloud Photos, et non d’une amélioration. »

Et encore une fois, personne n’est contre la vertu. La lutte contre l’exploitation sexuelle des enfants est louable et importante. Et l'exploitation sexuelle des enfants est un problème très réel . Mais il est également crucial que les solutions que nous choisissons soient proportionnées et ne créent pas de nouveaux problèmes affectant tous les utilisateurs.

Rompre avec la promesse du chiffrement de bout en bout

Comme je l’ai mentionné ci-dessus, l’application de messagerie d’Apple, iMessage, est cryptée de bout en bout. Et la promesse du chiffrement de bout en bout est que seuls vous et votre destinataire prévu pouvez voir le contenu des messages que vous vous envoyez.

La proposition d’Apple ne rompt pas le cryptage et Apple affirme qu’elle ne crée pas de porte dérobée. Mais en tant que chercheur en sécurité Bruce Schneier États,

L’idée est qu’ils ne toucheraient pas à la cryptographie, mais écouteraient les communications et les systèmes avant le cryptage ou après le décryptage. Ce n’est pas une porte dérobée cryptographique, mais c’est quand même une porte dérobée – et elle comporte toutes les insécurités d’une porte dérobée.

Supposons que le système analyse vos messages avant qu’ils ne soient cryptés et envoie potentiellement une copie du contenu (à votre insu) – hachée ou non – à un tiers. Cela représente plus de personnes que vous et votre destinataire prévu et cela rompt la promesse du cryptage de bout en bout.

Schneier déclare en outre qu'Apple a modifié sa définition du « cryptage de bout en bout » dans le FAQ il a publié pour expliquer le fonctionnement du système. De la FAQ :

« Est-ce que cela brise le cryptage de bout en bout dans les messages ?

Non. Cela ne modifie pas les garanties de confidentialité de Messages, et Apple n’a jamais accès aux communications grâce à cette fonctionnalité. Tout utilisateur de Messages, y compris ceux dont la sécurité des communications est activée, conserve le contrôle sur ce qui est envoyé et à qui. Si la fonctionnalité est activée pour le compte enfant, l'appareil évaluera les images dans Messages et présentera une intervention si l'image est jugée sexuellement explicite. Pour les comptes d'enfants âgés de 12 ans et moins, les parents peuvent configurer des notifications parentales, qui seront envoyées si l'enfant confirme et envoie ou visualise une image qui a été jugée sexuellement explicite. Aucune des communications, évaluations d’images, interventions ou notifications n’est disponible pour Apple.

Schneier souligne à juste titre que, selon Apple, le cryptage de bout en bout ne signifie plus que seuls vous et votre destinataire prévu êtes les seuls à pouvoir consulter les messages. Maintenantparfoisinclut un tiers dans certaines circonstances. Que le tiers soit effectivement informé ou non, la promesse du chiffrement de bout en bout est rompue (ou, dans ce cas, redéfinie).

Faux positifs?

Ensuite se pose la question de faux positifs . « Sexuellement explicite » peut signifier beaucoup de choses : du plus évident au plus subtil et moins évident. Et déjà de nombreux soi-disant « filtres porno » contenu sur-censuré . Pourquoi le cadre d’Apple serait-il différent ?

Quel sera le sort des photos de maillots de bain, des photos d’allaitement, de l’art nu, du contenu éducatif, des informations sur la santé ou des messages de plaidoyer ?

Les entreprises technologiques n’ont pas les meilleurs antécédents en matière de distinction entre la pornographie et l’art ou tout autre contenu non pornographique. Et la communauté LGBTQ+, en particulier, risque censure excessive . Il va de soi qu’un jeune explorant son orientation sexuelle ou son genre peut chercher à voir des photos nues de corps masculins et féminins. Cela ne devrait pas être controversé. Mais cette personne risquerait de voir ses photos signalées et envoyées à un tiers.

Non seulement cela, mais si l'une de ces images devait être envoyée via iMessage par un enfant de moins de 13 ans, avec la fonctionnalité activée par ses parents, le mécanisme de numérisation d'Apple pourrait la transmettre à ses parents potentiellement antipathiques, ce qui pourrait être dévastateur et avoir d'énormes conséquences pour l'enfant. jeunesse. Et qu’en est-il d’un jeune simplement séduit par une photo de nu (nous sommes tous passés par là, n’est-ce pas ?), mais qui a des parents violents ? Et il y a beaucoup de jeunes dans cette situation. Le système de signalement d’Apple pourrait finir par causer plus de mal que de bien à ceux qu’il tente de protéger.

Certaines pistes sont vraiment glissantes

De nombreux experts en sécurité nous le disent depuis années qu’il n’est tout simplement pas possible de créer un mécanisme d’analyse côté client qui ne puisse être utilisé que pour cibler les images sexuellement explicites envoyées ou reçues par des enfants. Aussi bien intentionné soit-il, un tel système rompt avec les attentes fondamentales en matière de confidentialité liées au cryptage des messages et constitue un terrain fertile pour des abus plus larges, affirment-ils.

Ce point dépend du fait qu’il ne faudrait pas beaucoup d’efforts pour élargir l’analyse à d’autres types de contenu. Apple aurait simplement besoin d'étendre les paramètres d'apprentissage automatique pour y parvenir. Un autre « réglage » simple consisterait à modifier les indicateurs de configuration pour analyser les comptes de chacun – pas seulement ceux appartenant aux enfants.

C’est exactement le genre d’« expansion » que nous avons constaté avec le Forum mondial de l'Internet pour lutter contre le terrorisme (GIFCT) . Il a été conçu à l’origine pour numériser et hacher des images d’abus sexuels sur des enfants, mais a été réutilisé pour créer une base de données de contenu « terroriste » connue. Le GIFCT opère sans surveillance et a censuré les discours légitimes, tels que la documentation sur la violence, les contre-discours, l’art et la satire, en les qualifiant de « contenu terroriste ».

En réalité, l’extension du système ne pourrait pas être plus simple et aucun moyen technique n’est en place pour limiter l’analyse au CSAM. Tout ce qu'il faut faire est d'ajouter des éléments supplémentaires à la base de données de hachage, et ces éléments seront également bloqués ou signalés. Cela peut signifier des choses comme des photos de protestation, des médias piratés, des preuves de dénonciateurs, etc. Et comme la base de données ne contient que des hachages d'images et que les hachages d'images CSAM sont impossibles à distinguer des hachages non CSAM, il n'existe aucun moyen technique pour limiter le système au CSAM. hachages uniquement.

L'EFF a même écrit un lettre ouverte au PDG d'Apple Tim Cook au nom d'une coalition de plus de 90 organisations américaines et internationales dédiées aux droits civiques, aux droits numériques et aux droits de l'homme, y compris l'EFF elle-même. Dans ce document, ils demandent à Apple de renoncer à mettre en œuvre ce système. Extrait de la lettre :

« Une fois cette fonctionnalité intégrée aux produits Apple, l’entreprise et ses concurrents seront confrontés à d’énormes pressions – et potentiellement à des exigences légales – de la part des gouvernements du monde entier pour numériser des photos non seulement à la recherche de CSAM, mais également d’autres images qu’un gouvernement juge répréhensibles. Ces images peuvent être des violations des droits humains, des manifestations politiques, des images que les entreprises ont qualifiées de « terroristes » ou de contenu extrémiste violent, ou même des images peu flatteuses des mêmes politiciens qui feront pression sur l'entreprise pour qu'elle les recherche. Et cette pression pourrait s’étendre à toutes les images stockées sur l’appareil, pas seulement à celles téléchargées sur iCloud. Ainsi, Apple aura jeté les bases de la censure, de la surveillance et de la persécution à l’échelle mondiale. »

Une porte dérobée est une porte dérobée est une porte dérobée

Il s'agit d'une décision étrange de la part d'Apple, une entreprise qui a défendu la cause de la confidentialité des utilisateurs ces dernières années. Et la réaction presque unanime qui a suivi l’annonce initiale a contraint Apple à retarder sa mise en œuvre. Mais il semble que ce ne soit que le dernier chapitre de ce que l'on appelle le Guerres cryptographiques – les tentatives du gouvernement américain et de ses alliés de limiter l’accès des nations étrangères et du grand public au cryptage fort.

Au fil des années, diverses tentatives ont été faites pour affaiblir, briser ou interdire le cryptage pour le grand public. Cette dernière tentative contourne le problème du cryptage en proposant une analyse du contenu avant le cryptage sur l'appareil. Cela peut, à première vue, paraître plus inoffensif. Mais comme on dit, on peut mettre du rouge à lèvres sur un cochon, mais ça reste un cochon.

Vous ne pouvez pas briser (ou contourner) le cryptage pour les méchants sans le briser simultanément pour les gentils. Et briser le chiffrement pour tout le monde n’est pas une solution viable, aussi louable que soit l’objectif déclaré. Les préjudices sociétaux qui peuvent survenir sans la capacité de protéger nos communications sont incommensurables. Et même s’il s’agit certes d’un problème complexe à résoudre, nous devons y aller avec prudence.