La vague croissante de contenus pédopornographiques sur les réseaux sociaux

Au cours des trois premiers trimestres de 2021, Facebook a signalé un nombre impressionnant de 55,6 millions d’éléments de contenu sous la rubrique « nudité d’enfants et exploitation sexuelle », soit 20 millions de plus que le total global de 35,6 millions de 2020. Selon les derniers rapports de transparence du réseau social, 50 % de ce contenu (28 millions d’éléments) a été signalé au deuxième trimestre 2021 et 41 % (22,7 millions) au troisième trimestre 2021.

Comme nos conclusions précédentes l’ont indiqué, Facebook n’est pas seul ; Instagram, Youtube, Twitter, TikTok, Reddit et Snapchat combinés suppriment des millions de publications et d'images qui enfreignent les directives de la communauté concernant la maltraitance des enfants.

Lorsqu’on parle de pédopornographie, la discussion porte souvent sur les coins sombres d’Internet : Omegle, le dark web, Usenet, les applications de chat cryptées de bout en bout, etc. Mais le problème ne se limite pas aux groupes privés ou aux plateformes anonymes. . Des milliers d’images et de publications contenant des abus, de l’exploitation et de la nudité sur des enfants sont supprimés chaque jour par les plus grands noms des médias sociaux.

Dans cette mise à jour, nous voulions non seulement comparer 2021 aux années précédentes pour ces types de rapports, mais nous voulions également savoir ce qui arrive à tous ces éléments de contenu signalés. Que font les grandes entreprises technologiques de manière proactive pour lutter contre ce problème ? Combien de ces cas sont renvoyés aux forces de l’ordre ? Et dans quelle mesure chaque pays réussit-il à enquêter sur ces cas ?

Suppression de contenu par un géant de la technologie pour exploitation d'enfants

Comme nous l’avons déjà vu, en seulement neuf mois de 2021, Facebook avait déjà dépassé de 20 millions le nombre de suppressions de contenu pour exploitation d’enfants de 2020. Instagram, TikTok et Snapchat ont également dépassé leurs chiffres de 2020, et YouTube devrait faire de même (toutes ces plateformes ont publié des rapports pour 2021, les autres ne l'ont pas fait).

Au cours des trois premiers trimestres de 2021, Instagram a enregistré 4 797 100 suppressions de contenu pour nudité d’enfants et exploitation sexuelle. C’est 1,5 million de plus que sur l’ensemble de l’année 2020. Instagram, comme Facebook, a également connu une forte augmentation au deuxième trimestre 2021 avec 1,86 million de suppressions de contenu sur l’année entre avril et juin. Toutefois, cette situation s'est poursuivie au troisième trimestre, avec 2,1 millions de suppressions supplémentaires. Tiktok a également connu une augmentation significative au deuxième trimestre avec 33,7 millions de signalements contre 22,8 millions au premier trimestre. Ce total pour le premier semestre 2021 (56,5 millions) dépasse déjà le chiffre total de 2020 (55,4 millions).

En revanche, YouTube a enregistré plus de suppressions de contenu au premier trimestre 2021 qu’au deuxième et au troisième trimestre (5,1 millions contre environ 1,9 million au deuxième et au troisième trimestre), mais cela pourrait encore dépasser le total de 11,6 millions de 2020.

En juin 2021, Snapchat avait déjà supprimé 119 134 comptes pour exploitation et abus sexuels sur enfants, soit 20 000 de plus que le total de 98 166 de 2020.

Qu'est-ce que cela signifie?

Bien que nous ne disposions pas encore des données de l'année complète pour 2021, le fait que de nombreuses plateformes aient affiché une augmentation significative des suppressions de contenus concernant l'exploitation des enfants (jusqu'au deuxième ou troisième trimestre de 2021) signifie que 2021 s'annonce comme une année astronomique pour ce type de contenu. Même si cela pourrait être dû en partie à une vigilance accrue et à une meilleure détection de ce type de matériel, cela met également en évidence l’ampleur de l’exploitation des enfants sur les réseaux sociaux.

Auparavant, Reddit avait vu le nombre de suppressions de contenu liées à l'exploitation sexuelle d'enfants augmenter de 2018 à 2020. Et Discord, que nous venons de commencer à suivre dans cette mise à jour, avait vu le nombre de suppressions de comptes liées à l'exploitation sexuelle d'enfants doubler par rapport à 2020 (CSAM). au premier semestre 2021 (passant de 23 000 à près de 52 000). Discord n’a défini CSAM comme catégorie qu’à la mi-2020.

Qu’arrive-t-il au contenu supprimé et aux personnes qui l’ont publié ?

Les entreprises américaines sont tenues par la loi de signaler les matériels pédopornographiques (CSAM) au NCMEC, sous peine d'une amende pouvant aller jusqu'à 300 000 dollars. Cependant, le degré de minutie avec lequel l'entreprise renvoie les cas au NCMEC dépend de ses systèmes et protocoles de détection de ces matières.

Par exemple, un rapport récent a découvert que Facebook a une nouvelle règle selon laquelle « les images de filles aux seins nus ne seront pas signalées au NCMEC ». Les images de jeunes enfants portant des vêtements sexuellement suggestifs ne le seront pas non plus. » Les personnes interrogées ont également été citées comme décrivant une nouvelle politique de « surclassement », une chose avec laquelle aucun d’entre eux n’était d’accord. La politique entre en jeu lorsqu'un modérateur de contenu ne peut pas déterminer si le sujet d'une photo CSAM signalée est en fait un mineur (catégorie B) ou un adulte (catégorie C). Lorsque cela se produit, les modérateurs doivent supposer que le sujet est un adulte. Cela signifie donc que moins d’images seront signalées au NCMEC.

Le rapport critique également l’utilisation par Facebook de l’échelle de Tanner. Il a été développé au milieu des années 1900 lorsque des chercheurs (dirigés par James Tanner) ont étudié un grand nombre d'enfants jusqu'à l'adolescence, les photographiant à différents stades de la puberté pour créer cinq étapes définitives. Les modérateurs de contenu de Facebook utilisent ensuite ce tableau pour catégoriser les sujets selon leur stade de puberté. Cependant, comme le souligne Krishna, « le CSAM est lié à l’âge de l’enfant et non au stade pubertaire. Deux enfants du même âge mais à des stades de puberté différents ne doivent pas être traités de manière inégale dans le contexte CSAM, mais s'appuyer sur l'échelle de Tanner signifie que les enfants plus développés physiquement sont moins susceptibles d'être identifiés comme victimes d'abus sexuels… Pire encore, le l’échelle comporte probablement un préjugé racial et sexiste. Étant donné que les sujets de l’étude étaient pour la plupart des enfants blancs, l’échelle de Tanner ne tient pas compte des différences de développement corporel selon la race – et ne tente pas non plus de le faire.

Cela suggère que le grand nombre de contenus signalés par Facebook ne peuvent qu’effleurer la surface du problème. Mais combien de ces éléments de contenu sont renvoyés au NCMEC et que se passe-t-il ensuite ?

En 2019, Facebook (et Instagram) comptait 39,4 millions de contenus signalés comme exploitation d’enfants. Il a renvoyé 15,9 millions (moins de la moitié) au NCMEC. En 2020, 20,3 millions de contenus ont été référés au NCMEC par Facebook, soit 52 % de son total global de 38,9 millions.

Où vont tous les autres rapports ?

Facebook suggère que tous les messages sur l'exploitation des enfants qu'il signale sont renvoyés au NCMEC. Par conséquent, le nombre qui n’est pas signalé au NCMEC pourrait être constitué de éléments de contenu/de comptes dupliqués. Facebook a publié quelques statistiques en 2021, ce qui suggérait que 90 % du contenu signalé au NCMEC était « identique ou visuellement similaire au contenu signalé précédemment ».

Le taux de signalement NCMEC inférieur de Facebook par rapport à son taux de suppression de contenu n’est cependant pas aussi significatif que celui de certains des autres ESP les plus performants.

En 2020, YouTube a vu 11,6 millions de contenus signalés comme CSAM. Google a soumis un total de 188 955 rapports au NCMEC (uniquement à partir de YouTube) au cours de la même période de référence. Cela représente 1,6 % du contenu signalé qui a été référencé.

De même, TikTok a signalé 55,4 millions d’éléments de contenu CSAM en 2020. Il en a renvoyé 22 692 au NCMEC, soit 0,04 % de son contenu signalé.

Même si les ESP sont mandatés pour signaler les contenus CSAM au NCMEC, cela soulève la question de savoir comment ils déterminent le contenu qu’ils doivent ou ne doivent pas renvoyer à l’organisation. De même, comme les ESP je n'ai pas besoin de prévenir ou envoyer des données aux procureurs ou à la police du pays d'origine du matériel/délinquant, cela exerce une pression énorme sur l'organisation à but non lucratif, NCMEC – qui, soit dit en passant, il n'y avait que 41 analystes en 2020 .

Quels pays sont des points chauds pour le matériel d’exploitation des enfants ?

Une fois que le NCMEC reçoit les rapports des ESP, il utilise la géolocalisation des rapports (qui sont fournis par les ESP) pour les renvoyer à l'organisme chargé de l'application de la loi compétent dans ce pays. La référence du NCMEC aux forces de l’ordre est également décrite comme « volontaire ». Cela signifie qu'une fois que le NCMEC a soumis l'affaire à l'agence, c'est à elle d'enquêter. Il y a pas d'exigence particulière . De plus, même si le NCMEC sait si et quand les forces de l’ordre examinent les données envoyées, ils n’en savent pas plus.

Les dix principaux pays pour lesquels les rapports référés par le NCMEC sont :

1. Inde – 2 725 518 rapports
2. Philippines – 1 339 597 rapports
3. Pakistan – 1 288 513 rapports
4. Algérie – 1 102 939 rapports
5. Indonésie – 986 648 rapports
6. Irak – 916 966 rapports
7. Vietnam – 843 963 rapports
8. Bangladesh – 817 687 rapports
9. Mexique – 793 721 rapports
10. Colombie – 763 997 signalements

Au moins trois de ces pays (Irak, Vietnam et Bangladesh) disposent d’une législation et/ou de procédures inadéquates pour lutter contre la pédopornographie en ligne. Par exemple, au Bangladesh, la loi sur la sécurité numérique est décrite comme ne contenant aucune disposition sur la maltraitance des enfants en ligne. Et lorsque des cybercrimes de cette nature font l'objet d'une enquête, les personnes impliquées suggèrent aux forces de l'ordre de manquent d’infrastructures et de compétences pour les enquêter adéquatement.

En outre, dans les pays où les enquêtes sont ouvertes et enregistrées par les autorités policières, les chiffres ne représentent qu'une fraction de ceux mentionnés par le NCMEC. Et cela avant même d’avoir considéré que la police ne s’occupera pas uniquement des cas émanant du NCMEC, mais aussi des cas provenant du pays et/ou renvoyés par d’autres organisations.

Quelle quantité de contenu est traitée avec succès par les forces de l’ordre locales ?

En raison du manque d'informations sur le nombre d'enquêtes examinées à partir de cas renvoyés par le NCMEC, il est difficile de déterminer exactement combien de cas font l'objet d'une enquête réussie et conduisent à des condamnations. Cependant, nos chercheurs ont examiné les 45 principaux pays (en nombre de cas signalés en 2020) pour voir combien de cas d'exploitation d'enfants en ligne ont fait l'objet d'une enquête par les autorités compétentes de chaque pays.

Bien que nous ne puissions pas suggérer avec précision que X pour cent des cas du NCMEC ont fait l’objet d’une enquête, les chiffres nous donnent un aperçu du nombre de cas qui ont fait l’objet d’une enquête pour 100 000 cas référés par le NCMEC.

Le tableau ci-dessous décrit les chiffres que nous avons pu trouver. Dans certains cas, seuls les chiffres de 2019 étaient disponibles (Philippines et Thaïlande). Dans ces cas, les chiffres ont été comparés la même année.

Nombre de rapports du NCMEC sur les cas faisant l'objet d'une enquête pour 100 000

Ce qui précède met en évidence le nombre extrêmement faible de cas de maltraitance d’enfants en ligne qui font l’objet d’une enquête chaque année, en particulier dans les pays asiatiques.Dans tous les pays, un total de 2 380 cas d’exploitation d’enfants en ligne pour 100 000 signalements soumis par le NCMEC ont fait l’objet d’une enquête.

Aux États-Unis, l’IC3 a enquêté sur 3 202 crimes en ligne contre des enfants en 2020. Les différents groupes de travail sur les crimes sur Internet contre les enfants (ICAC) ont également lancé 109 000 enquêtes au cours de la même période. Comparé au nombre de cas renvoyés aux forces de l'ordre américaines par le NCMEC (près de 495 000), cela semble être une part assez importante. Et avec le majorité des cas ouverts par des départements individuels de l'ICAC à travers les États-Unis en provenance du NCMEC, les États-Unis semblent avoir le meilleur taux d'enquêtes sur les rapports reçus dans tous les pays pour lesquels nous pouvons trouver des données.

Les ESP se renvoient-ils la balle en matière d’exploitation des enfants en ligne ?

Ce qui précède démontre qu’un nombre important de rapports du NCMEC semblent disparaître dans un trou noir non réglementé, non réglementé et sans enquête dans de nombreux domaines. Même si des pays comme les États-Unis examinent activement la majorité des cas, dans certains des pays les plus touchés par ce contenu, les systèmes sont incapables de gérer le volume considérable de rapports qu'ils reçoivent.

Les ESP peuvent apporter leur contribution en renvoyant les cas au NCMEC et le NCMEC peut également jouer son rôle en renvoyant ces cas aux services répressifs compétents. Mais après cela, bon nombre de ces cas passent tout simplement entre les mailles du filet, sans qu’aucune autorité n’ait la responsabilité de garantir que ces rapports fassent l’objet d’une enquête adéquate. De plus, comme nous l’avons vu avec la politique de modération du contenu de Facebook, de sérieux points d’interrogation subsistent quant à la manière dont ce matériel est repéré et signalé en premier lieu.

Et d’après ce que nous disent les chiffres disponibles jusqu’à présent pour 2021, le problème s’aggrave à un rythme exponentiel. Si le NCMEC constate la même augmentation qu'entre 2019 et 2020, il pourrait être confronté à jusqu'à 28,7 millions de signalements en 2021. Mais le fait que Facebook, Instagram et Tiktok aient déjà largement dépassé les totaux totaux de 2020 en seulement six ou neuf mois d'activité. En 2021, les chiffres de 2021 pourraient être presque le double de ceux de 2020. Cela signifierait un total d’environ 44 millions de contenus signalés par les seuls ESP.

Cependant, avec le déploiement par Facebook du chiffrement de bout en bout sur ses applications, les chiffres pourraient-ils baisser ? De nombreux experts, dont le directeur de l'Agence nationale contre la criminalité au Royaume-Uni, Rob Jones craint que le cryptage ne permette à l'exploitation des enfants (en particulier) de passer inaperçue et introuvable. Jones suggère que le cryptage empêchera les agents d’accéder à des « renseignements incisifs ». Il sera donc intéressant de voir quels chiffres divulguera le prochain rapport trimestriel de Facebook. À première vue, une baisse des chiffres peut sembler un pas dans la bonne direction mais peut simplement indiquer que des millions de signalements d’exploitation d’enfants sur ces plateformes passent inaperçus.

Quels que soient les chiffres pour 2021, une chose est sûre : de nombreuses organisations spécialisées et organismes chargés de l’application des lois à travers le monde sont tout simplement dépassés par le nombre de signalements en ligne d’exploitation d’enfants qu’ils reçoivent. Et cela nous laisse avec une question importante : ceux qui sont à l’origine du problème (les ESP) ne devraient-ils pas faire davantage pour supprimer ce contenu à la source ?

Méthodologie et limites

Nous avons utilisé les chiffres de suppression de contenu de chacun des derniers rapports de transparence disponibles sur les réseaux sociaux suivants :

• Facebook – du troisième trimestre 2018 au troisième trimestre 2021
• Instagram – du deuxième trimestre 2019 au troisième trimestre 2021
• Youtube – du troisième trimestre 2018 au troisième trimestre 2021
• Twitter – de juillet 2018 à décembre 2020
• TikTok – de juillet 2019 au deuxième trimestre 2021
• Reddit – du premier trimestre 2018 à décembre 2020
• Snapchat – de juillet 2019 à juin 2021
• Discord – de juillet 2020 à juin 2021

Certains rapports ne couvrent pas une année entière, car les rapports peuvent avoir commencé ou se terminer au milieu de l'année. Les chiffres globaux pour l'année sont uniquement basés sur la période pendant laquelle la maltraitance des enfants a été reconnue comme une catégorie afin de fournir un pourcentage équitable.

Facebook a récemment modifié ses rapports en incluant auparavant les « faux comptes » dans les chiffres de suppression de contenu. Désormais, ceux-ci ne sont pas inclus, c'est pourquoi les chiffres de contenu total ont diminué par rapport à nos rapports précédents (mais cela s'applique à toutes les années et offre donc toujours une comparaison équitable).

Dans son rapport, Snapchat ne couvre que les comptes supprimés, et non les éléments de contenu individuels supprimés.

Twitter et Discord couvrent à la fois les comptes interdits et les suppressions de contenus spécifiques.

Certains réseaux sociaux, dont Tumblr et Pinterest, ne disposaient pas de suffisamment de données pour que nous puissions les analyser.

Les rapports de transparence ne sont vraiment devenus une tendance parmi les sociétés de médias sociaux qu’en 2018, nous ne disposons donc pas d’une tonne de données historiques sur lesquelles nous appuyer. De plus, les changements dans les politiques de modération du contenu pourraient fausser les chiffres.

Ce que font les entreprises technologiques à ce sujet

Les suppressions de contenu sont généralement le résultat soit d'un filtre automatisé, soit d'un signalement par les utilisateurs d'un service d'un contenu qu'ils jugent inapproprié. Dans certains cas, des modérateurs humains pourraient être utilisés pour juger si quelque chose doit être supprimé, mais il serait pratiquement impossible pour les modérateurs d'examiner chaque élément publié sur un réseau social.

La pédopornographie est illégale aux États-Unis (et presque partout dans le monde) et n’est pas protégée par le premier amendement. Cependant, en vertu de l'article 230 de la loi sur la décence en matière de communications, les sociétés de médias sociaux sont protégées de toute responsabilité lorsque leurs utilisateurs publient quelque chose d'illégal. Ils ne peuvent donc pas être poursuivis en justice lorsque leurs utilisateurs publient du contenu pédopornographique.

Pourtant, les sociétés de médias sociaux ne veulent certainement pas être associées à la maltraitance des enfants, c’est pourquoi elles font ce qu’elles peuvent pour supprimer ces contenus le plus rapidement possible. Jusqu’à présent, leurs tactiques sont largement réactives et non proactives. La présélection du contenu serait probablement trop lourde et poserait de sérieux problèmes de confidentialité.

Récemment, Apple a commencé hachage des fichiers image sur le stockage iCloud des utilisateurs pour voir s'ils correspondent à ceux d'une base de données d'images d'abus d'enfants des forces de l'ordre. Cela permet à Apple d’analyser le stockage des utilisateurs à la recherche de pornographie juvénile sans réellement visualiser les fichiers des utilisateurs. Certains défenseurs de la vie privée contestent toujours cette tactique, et elle n’est pas parfaite, mais il pourrait s’agir d’un compromis que d’autres entreprises technologiques décideront d’adopter.

Chercheur de données :Rebecca Moody