Technologie d’identification de la cyber-pedocriminalité

Mark Pohlmann est psychologue cognitif. Il est également Lieutenant Colonel de réserve à la Gendarmerie nationale, rattaché à l'Unité Nationale Cyber à Cergy-Pontoise.

---

Bien que les abus sexuels sur enfants, l’exploitation sexuelle des enfants ainsi que le matériel relatif à des abus sexuels sur enfants soient érigés en infractions pénales, il est évident que l’UE ne parvient toujours pas, actuellement, à protéger les enfants contre les abus sexuels, et que les abus commis en ligne représentent un problème particulier.

La Commission Européenne a proposé des mesures renforcées afin de protéger les enfants contre toutes les formes de violences, y compris les abus en ligne. Elle invite les entreprises à poursuivre leurs efforts pour détecter et signaler les contenus illicites en ligne, notamment les contenus pédopornographiques, et les retirer de leurs plateformes et services. Ces mesures visent principalement à empêcher l’utilisation de l’espace numérique pour commettre ou faciliter des actes criminels et dans ce contexte, les fournisseurs de services d’hébergement ou de communications interpersonnelles jouent un rôle particulièrement important.

La Commission Européenne préconise la mise en œuvre de solutions permettant de détecter les abus sexuels sur les enfants, les signaler aux autorités compétentes et en faciliter le retrait.

La solution qu’il convient de mettre en œuvre doit permettre aux fournisseurs de services et aux plateformes de détecter le matériel « connu » et le matériel « nouveau » relatif à des abus sexuels sur enfants. Cette solution impose également aux fournisseurs de services de détecter le pédopiégeage et ainsi mener l’action la plus large possible pour éviter des abus imminents.

Le contenu relatif à des abus sexuels sur des enfants, ou CSAM, peut être classé en deux principales catégories. Il y a du contenu pédocriminel, sexuellement explicite, et il y a du contenu relatif aux situations de pédopiégeage qui ne contient aucun terme explicite qui serait lié à une activité sexuelle ou pédophile.

Nous observons une augmentation sans précédent du nombre de contenus relatifs à des abus sexuels sur les enfants.

En 2004, 450 000 contenus à caractère pédocriminel ont été signalés et ont été traités par le NCMEC. En 2022, le nombre de signalisations est de 88 000 000, soit une augmentation de 19 555 % (une signalisation c’est du contenu pédocriminel, une image, un texte, une vidéo, un dessin, une illustration générée par ordinateur ou bien une image générée par un logiciel d’intelligence artificielle). 78 % de ces contenus concernent des enfants de moins de 12 ans et si on ne considère que ces contenus, 63 % d’entre-eux concernent des enfants de moins de 8 ans !

Pour chaque enfant victime, il peut exister un ou plusieurs contenus qui le concerne et pour chacun de ces enfants victime un rapport qui le concerne est créé. En 2022, ce sont 29 397 6816 rapports qui ont été enregistrés. Ce représente un peu moins d’une victime mineure sexuellement abusée, prise en photo ou filmée puis exposée sur un support digital toute les secondes !

Ces chiffres sont ceux liés à la pédocriminalité. Mais il n’y a malheureusement pas que cela. Il y a aussi ceux qui concernent les situations de pédopiégeage et l’étude menée par Thorn en avril 2022, sur une population de 1 200 enfants âgés de 9 à 17 ans est édifiante.

Ce sont 60 % des enfants âgés de 9 à 12 ans qui déclarent avoir été approchés sur un réseau social par une personne qu’ils ne connaissaient pas et qui avaient l’intention de les manipuler. Lors de ces interactions, les enfants se sont fait piéger. 28 % déclarent avoir partagé des informations personnelles (comme par exemple leur nom, prénom, adresse, numéro de téléphone, le nom de leur établissement scolaire), 43 % déclarent avoir partagé des informations émotionnelles (leurs peines, leurs joies, leurs secrets), 25 % déclarent avoir été sollicités sexuellement et 26 % déclarent avoir accepté de partager des photos ou des vidéos personnelles. Dans ce dernier cas, 75 % du contenu partagé était soit sexy, soit révélait une partie du corps, soit était constitué de photos de leur corps nu (pour les enfants ayant entre 13 et 17 ans, cette proportion monte à 88 %). Il est également notable, peu importe la tranche d’âge, que les enfants LGBTQ+ soient significativement plus piégés que les autres.

Les lieux où les enfants se font piéger sont digitaux et dans la majorité des cas ces criminels agissent sur des réseaux sociaux, des messageries ou bien utilisent des jeux en ligne pour entrer en contact avec des mineurs.

Quelques exemples : en ce qui concerne les réseaux sociaux, 55 % des enfants déclarent s’être fait piéger sur Facebook, 68 % sur Instagram, 71 % sur TikTok, 44 % sur Twitter ; en ce qui concerne les messageries, 54 % des enfants déclarent s’être fait piéger sur Messenger, 45 % sur Google Meet, 67 % sur Snapchat, 33 % sur Whatsapp ; en ce qui concerne les jeux en ligne, 54 % des enfants déclarent s’être fait piéger sur Call of Duty, 63 % sur Fortnite, 48 % sur GTA (Grand Theft Auto), 77 % sur Minecraft. Toutes tranches d’âges confondues, 59 % des mineurs âgés de 9 à 17 ans déclarent que ces sollicitations inappropriées sont quotidiennes.

Dans ce contexte pédocriminel, un contenu explicite peut prendre de multiples formes. Sa forme la plus simple est de type « softcore » à savoir présente un contenu sexy, érotique ou pornographique qui est moins explicite (pas de pénétration par exemple). Ce sont par exemple des représentations de jeunes enfants en lingerie ou bien ayant des poses érotiques simulant un acte sexuel. Ensuite, sa forme la plus répandue est de type « hardcore » et présente des bébés et des enfants ayant des relations sexuelles explicites « classiques », extrêmes ou déviantes (paraphiles). Enfin, la forme la plus choquante permettant de qualifier le contenu diffusé est de type « hurtcore ». Cette dernière forme est de la pornographie extrême qui fait la promotion de scènes non-simulées de torture, d’humiliation et de meurtre, dont les premières victimes sont les bébés et les enfants de moins de 8 ans. Cette dernière forme de contenu n’est pas rare.

La phrase qui accompagne ces contenus, qui décrit la scène ou qui en fait la promotion est composée de signaux sémantiques forts, c’est-à-dire est composée de mots dont le sens ne laisse aucun doute possible quant à la nature du contenu partagé.

Quand ce contenu n’est pas explicite, comme par exemple celui que l’on rencontre dans des situations de pédopiégeage, ce contenu est composé de signaux sémantiques faibles, c’est-à-dire de mots dont le sens est atténué, dont l’intention n’est pas évidente. C’est la conjonction d’une multitude de signaux faibles qui va renforcer et expliciter l’intention pédocriminelle.

Les fournisseurs de services peuvent s’appuyer sur des technologies d’intelligence artificielle existantes et notamment sur celles étant capables de traiter du langage naturel afin de détecter la présence de mots inappropriés liés aux contextes pédophiles. Ces technologies de traitement du langage naturel sont toutes « made in USA ». Il y a celle de Microsoft, celle d’AWS, celle de Google, celle d’IBM et celle proposée par OpenAI, à savoir ChatGPT.

Pour vérifier si l’usage de ces technologies permet aux fournisseurs de services de correctement identifier et catégoriser un contenu illicite, nous avons soumis de nombreux verbatims ayant un contenu inapproprié à ces différentes solutions logicielles afin de nous assurer qu’elles étaient capables de correctement identifier le caractère inapproprié des propos utilisés.

Le résultat de notre analyse est sans appel. Aucune de ces technologies ne s’est révélée efficace quant à l’identification du caractère inapproprié du contenu et notamment des discours à caractère haineux, zoophile ou pédophile.

Ce qui est préoccupant c’est que ces technologies traitent l’information et publient un résultat qui est faux. Sans contrôle, à savoir sans une comparaison entre ce qu’un lecteur humain pourrait comprendre et ce que la solution logicielle prétend comprendre, la seule présence d’un résultat qualifié par la machine pourrait laisser penser qu’elle a bien fait son travail et que la mise en œuvre d’une telle solution est utile. Mais cela est malheureusement totalement faux.

Le contenu n’ayant pas été identifié par la machine comme étant illicite, il ne sera pas supprimé et la modération devra être effectuée par l’internaute lui même qui devra le signaler aux autorités compétentes. Sans prendre du temps pour rapporter la présence d’un contenu inapproprié, ce contenu restera visible. Une fois identifié par les autorités, il le restera également jusqu’à sa suppression. Cela peut prendre plusieurs jours à plusieurs mois et pendant tout ce temps, ce contenu pourra être consulté, copié et partagé.

Il est encore plus compliqué de détecter des situations de pédopiégeage. Étant très actifs en ligne, les pédophiles sont en constante recherche d'opportunités et utilisent Internet pour communiquer, avec comme seul objectif d’inciter des enfants à se livrer à des activités sexuellement explicites.

Ces prédateurs en ligne, également appelés "groomers", pourraient mentir et se faire passer pour un jeune ou ne pas mentir du tout, ni sur son âge ou ses intérêts sexuels et se présenter comme un ami, un confident ou même un mentor qui aidera le jeune à découvrir son identité ou sa sexualité. Ils manipulent les enfants n'ayant pas atteint l'âge du consentement, en utilisant des tactiques psychologiques sophistiquées, pour établir avec eux un lien de confiance émotionnel et réduire leurs inhibitions avec l'intention de s'engager, chaque fois qu'ils sont seuls et que cela est possible, dans des activités sexuellement explicites.

En résumé, toutes les technologies d’intelligence artificielle existantes échouent quant à l’identification correcte de ces contenus et notamment sur l’identification de situations de pédopiégeage et ne peuvent pas être mises en œuvre pour répondre aux exigences légitimes de l’Union européenne.

Mark Pohlmann