Modérer n'est pas censurer
#7 - Ou comment je veux créer un cadre respectueux pour les échanges
Bonjour !
Bienvenue dans cette 7e édition de Founder Naked.
Aujourd’hui, j’ai choisi de parler d’un sujet qui me tient à cœur : le filtrage de la haine qu’on peut retrouver sur les réseaux sociaux, au profit d’un cadre d’échanges respectueux, où on peut ne pas être d’accord, mais en parler entre gens civilisés.
C’est un vaste sujet, alors je te propose d’attaquer !
Si ce n’est pas déjà le cas, tu peux aussi :
Me suivre sur Linkedin, où je publie des posts complémentaires,
Découvrir les services que je propose, notamment dans le secteur de la finance…
… mais pas encore découvrir Licorn, ma nouvelle boîte.
Au programme
Petite Histoire de la censure
La liberté d’expression a bon dos
Comment concilier intelligemment les deux
Comment je fais techniquement
Où je veux arriver en faisant cela
Petite Histoire de la censure
La censure, c’est un peu l’ombre qui plane, l’épée de Damoclès, le truc horrible qui peut nous arriver en tant que société, si on empêche le peuple de s’exprimer librement. C’est assez violent.
Mais ce qui est violent, également, ce sont les propos que certaines personnes se permettent de tenir envers d’autres, et qui crient volontiers à la censure si on les coupe. Aussi je trouvais cela bien de faire une minute d’Histoire, pour que l’on sache vraiment de quoi on parle quand on crie à la censure.
1. L’origine dans la Rome antique
La censure à l’origine c’est la Rome antique : les censeurs (du latin censura) étaient chargés du recensement des citoyens, de la moralité publique et de la supervision des mœurs. Ils avaient donc un pouvoir de régulation moral et civique. Ils pouvaient retirer certains privilèges ou titres, s’ils estimaient qu’un citoyen avait fauté moralement, et qu’il était sortir du cadre romain.
Théoriquement indépendants et neutres, garant de la moralité et du cadre collectif (et donc d’une forme d’uniformité romaine), les censeurs étaient également un instrument politique redoutable, puisque manipulés, ils pouvaient porter préjudice à un tiers (un adversaire politique par exemple).
2. La censure d’Etat préventive
Pendant la royauté, en France et ailleurs, on a ensuite eu droit à la censure préventive. Aucun livre, par exemple, n’était publié sans privilège royal. C’est-à-dire sans avoir été approuvé avant sa publication, par la monarchie.
Les œuvres des grands penseurs “indépendants” de l’époque passaient donc souvent par l’étranger. Diderot ou Voltaire, faisaient imprimer leurs ouvrages dans d’autres pays, qui étaient ensuite diffusés en France, où les imprimeurs risquaient l’emprisonnement s’ils les avaient imprimés.
La censure agissait donc comme un verrou avant même que la parole, tout du moins écrite, ne s’exprime publiquement.
3. La liberté proclamée mais encadrée
En France, vient ensuite la révolution en 178. On proclame alors dans la Déclaration des droits de l’homme et du citoyen :
“La libre communication des pensées et des opinions est un des droits les plus précieux de l’homme.”
On met ainsi fin au privilège royal d’imprimer, à cette censure préalable, et on voit une multiplication des journaux, des pamphlets, affiches, ou encore des clubs politiques. La parole parait totalement libérée.
Mais en fait très rapidement cette liberté nouvelle est encadrée par la loi, avant qu’en 1792 les nouveaux dirigeants du pays ne réalisent que la liberté d’expression, c’est aussi permettre aux opposants de s’exprimer et de s’organiser… Et on tombera alors dans une phase qu’on appelle “La Terreur”, où durant 6 ans de nombreux journaux seront interdits, des personnes seront exécutées, et où la critique du gouvernement sera assimilée à une trahison.
4. Les régimes autoritaires
Dans la période moderne — et je terminerai par là — on assiste à une censure par un certain nombre de régimes autoritaires, tristement célèbres dans le monde :
L’Allemagne nazie réalise des autodafés : elle brûle publiquement les livres des auteurs qui véhiculent des idées considérées comme “impures”. La presse est alignée, la radio centralisée, et la propagande organisée par le ministre Goebbels. On censure, et on remplace par un discours unique.
En URSS : livres, presse, théâtre, cinéma, recherche scientifique… sont tous soumis au contrôle avant publication par le Glavlit. Les opposants sont envoyés au Goulag. La censure vise à maintenir le régime en place.
Sous Franco en Espagne : on réécrit la vérité. Les publications sont “validées” avant diffusion, mais elles sont en réalité modifiées ou amputées. Même au cinéma, des dialogues sont réécrits.
En Amérique latine, dans les années 60-80 : journalistes emprisonnés, médias fermés, interdictions de partis politique… On assiste également à une censure organisée par le pouvoir politique en place.
La liberté d’expression a bon dos
C’est donc ça, la “censure”.
C’est un monopole de l’information, un contrôle permanent, et des sanctions très lourdes pour celles et ceux qui contestent le pouvoir.
Aujourd’hui le pouvoir s’est déplacé, il est beaucoup plus “privé”. C’est-à-dire que les plateformes et médias privés ont pris énormément d’importance — par rapport à un monde passé essentiellement organisé par l’Etat — et se régissent à coup de CGU et d’algorithmes.
Et au nom de la de liberté d’expression, on est désormais prêt à tout permettre. En tout cas certains le sont.
Personnellement quand je vois Elon Musk qui vire les équipes chargées de modérer le contenu, pour faire de X le réseau social où la liberté d’expression s’exprime pleinement, et que cela finit avec des sujets pédopornographiques…
Mais pour moi il n’y a pas besoin d’aller jusque-là pour y trouver un problème. Sans aller sur ce niveau d’ignominies, il suffit de regarder les commentaires de n’importe quel post populaire sur X (ex-Twitter) pour se rendre compte de la teneur des débats : les commentaires populaires et mis en avant contiennent trop souvent de la haine, sous forme d’insultes ou de choses plus insidieuses, visant à rabaisser l’autre.
Et je parle d’X car c’est la caricature du truc — d’un côté il n’y a que du texte aussi — mais les autres réseaux sociaux n’y vont pas de main morte non plus. Il suffit de voir les créateurs de contenu raconter parfois leur mal-être, la façon dont ils gèrent émotionnellement la charge de toute cette haine qui se déverse sur eux.
Aujourd’hui tu fais des vidéos de tes recettes de cuisine, et tu te fais insulter parce que t’es “moche et conne”. Sérieux ?
Comment concilier intelligemment les deux
Ok ça ne peut pas plaire à tout le monde, mais personnellement je n’accepte pas cela. On peut tout à fait exprimer son désaccord avec quelqu’un sans le rabaisser, sans l’humilier, sans employer des mots crus qui n’ont rien à voir avec le sujet initial.
Les gens derrière leur écran ne se rendent pas toujours compte du mal qu’ils font. Et souvent ils se permettent cela parce qu’ils sont derrière un écran justement. Auparavant j’ai co-fondé une plateforme de crowdfunding : on a parfois eu, et pas toujours sur des sujets graves, des utilisateurs qui se permettaient des incivilités envers nos équipes. Qui échangeaient par messagerie instantanée ou emails avec une jeune personne de 23 ou 25 ans, qu’ils faisaient se sentir extrêmement mal, sans filtre.
Alors que quand avec mes associés, nous prenions le téléphone pour désamorcer la situation, et soulager leur interlocuteur⸱trice, ils étaient alors beaucoup plus calmes. Souvent ils avaient l’excuse du mauvais caractère, d’une mauvaise journée, ou d’un incident qui leur était aussi arrivé sur une autre plateforme et qui les avait énervés. Mais l’on peut exprimer son mécontentement de façon posée, méthodique, sans insulter ou rabaisser son interlocuteur. C’est même souvent plus impactant.
Et c’est en cela que l’IA nous apporte aujourd’hui une solution qui n’existait pas avant : automatiser le traitement de la haine.
Comprenez bien ce qu’il se passe chez les plateformes : la modération était jusqu’alors un choix qui avait nécessairement un impact négatif sur d’autres êtres humains. Vous pouviez soit laisser l’auteur d’un post se débrouiller avec ses “haters”, soit modérer le contenu et rediriger ce flux vers vos équipes de modération.
Qui a réellement envie de modérer les pires commentaires d’une plateforme sociale ? D’un côté c’est une bonne action, en un sens ; mais de l’autre, je n’ose imaginer l’impact psychologique. On ne doit pas tenir longtemps.
Alors oui cela fait longtemps que les insultes — les “gros mots” — peuvent être filtrés, ou émettre des alertes. Mais la compréhension des choses plus insidieuses, n’était possibles qu’avec des humains. Il fallait que quelqu’un signale le post, puis qu’une autre personne le lise et l’estime odieux, pour que peut-être, suivant la politique de la plateforme, il soit retiré (a posteriori).
Comment je fais techniquement
Aujourd’hui l’IA permet de comprendre le sens des mots et de tenir compte du contexte dans lequel ils sont employés. Et plus important encore : l’IA permet, au bénéfice de la santé mentale des modérateurs et des créateurs, de soulager l’Humain de ces flots de haine.
Etant donné la politique de modération de certaines plateformes, cela ne va pas soulager tout le monde malheureusement. Pour certaines, cela va juste faire des emplois en moins.
Mais pour les plateformes, les produits, et les communautés qui veulent prendre en main ces problèmes, nous avons là un nouvel outil qui peut nous aider à modeler un environnement plus sain, où l’on peut et doit exprimer son désaccord de façon respectueuse.
Enfin, de façon normale, j’ai envie de dire.
Pour ma part j’ai choisi de modérer systématiquement tout contenu UGC1 amené à paraître sur Licorn. J’ai pour cela créé un package de modération, qui gère plusieurs vérifications en parallèle par contenu à modérer, et organise ses files d’attentes pour traiter ce qui arrive.
Début du fichier README.md du package
# @repo/features-moderation
AI-powered content moderation services and React hooks for comprehensive content safety.
## 🎯 Features
- **Multi-Service AI Moderation**: OpenAI, Akismet, Perspective API, and custom rules
- **Parallel Processing**: All moderation checks run in parallel for optimal performance
- **Intelligent Decision Making**: Automated blocking, hiding, flagging based on severity
- **React Hooks**: Easy integration with TanStack Query and optimistic updates
- **Analytics Integration**: Complete tracking with @repo/monitoring
- **Fallback Support**: Graceful degradation when external services failCe package s’organise autour de 5 principaux services :
orchestrator.ts : C’est le chef d’orchestre. Il lance en parallèle les quatre services de modération (IA, spam, toxicité, données personnelles) pour garder des temps de réponse courts. Il agrège les résultats, applique une matrice de décision (bloquer, masquer, signaler, approuver) selon la gravité et la confiance, et enregistre les cas litigieux dans une file de modération pour revue humaine.
ai-detection.ts : Ce module s’appuie sur l’API de modération d’OpenAI pour détecter automatiquement les contenus problématiques : haine, harcèlement, auto-mutilation, contenu sexuel, violence. Il renvoie des scores par catégorie et un niveau de confiance, ce qui permet de filtrer les contenus les plus graves sans dépendre uniquement de mots-clés.
pii-scanner.ts : Il détecte les données personnelles (emails, téléphones, numéros de sécurité sociale, cartes bancaires, IBAN, adresses, etc.) pour éviter qu’elles ne soient exposées publiquement. Les motifs sont détectés par des expressions régulières, et le texte peut être masqué automatiquement pour protéger la vie privée.
spam-filter.ts : Il combine des règles internes (trop de liens, répétitions, majuscules excessives, ponctuation abusive, expressions typiques du spam) et l’API Akismet (un service des créateurs de Wordpress, qui vise à détecter le spam à partir de l’IP, du contenu et du contexte). Les règles locales s’exécutent en premier ; Akismet intervient en complément pour les cas ambigus.
toxicity-check.ts : Il évalue la toxicité du texte via l’API Google Perspective (insultes, menaces, attaques identitaires, profanité, etc.), avec un score global pondéré. En cas d’indisponibilité de l’API, un fallback basé sur des motifs simples prend le relais pour garder une détection minimale.
L’ensemble du système et les potentielles erreurs sont trackées, pour s’assurer de la robustesse dans le temps.
Le seul inconvénient : il reste une file d’attente pour des vérifications humaines, mais que je compte bien faire tendre vers zéro au fil du temps, des itérations, et de l’enrichissement des modèles IA utilisés.
Où je veux arriver en faisant cela
Je construis une plateforme culinaire. Un endroit où créateurs⸱trices, passionné⸱e⸱s et amateurs⸱trices peuvent échanger sur des recettes, techniques, ingrédients, régimes, allergènes… et tout autre sujet lié de près ou de loin à l’univers culinaire, et à l’organisation de ses repas, seul⸱e ou en famille.
Je ne vois donc aucune raison — aucune — de laisser libre court à la haine de certains, et créer un environnement que j’estime toxique pour échanger sur ces sujets.
J’assume donc pleinement mon choix de modérer systématiquement tout contenu publié sur notre plateforme.
Cependant, je comprends que certaines ou certains puissent craindre une forme de censure. Comme l’Histoire l’a montré, la censure prend bien des formes, et des dérives peuvent petit à petit apparaître, par exemple pour censurer tout simplement la critique du système — ici la plateforme — ce qui nuirait à cette vision peut-être un peu trop idyllique.
Sur ce point, je crois beaucoup à la transparence et à la communauté. Il est aujourd’hui possible de partager ses faiblesses avec ses clients, si tant est que l’on a fédéré une vraie communauté plutôt que de simples consommateurs. Et c’est ce que je vise, notamment à travers cette newsletter, qui en est une première brique.
Mon objectif est donc de rendre les parties du code qui régissent ces sujets de modération, publiques, accessibles à notre communauté. Il y a des parties que tout le monde comprend, assimilables à des prompts en langage commun pour instruire l’IA dans ses actions de modération, et des parties qui intéresseront plus certainement les développeurs, qui orchestrent l’ensemble, et dont l’audit permet de s’assurer qu’il n’y a pas de vice caché.
Et je pense que sur ces sujets il n’y a pas de concurrence qui soit : on peut donner le code. Si quelqu’un veut reproduire quelque-chose de bénéfique, tant mieux. C’est le principe de l’open-source.
Et à l’inverse, il s’agit aussi d’une identité de marque forte, d’un ADN qu’il n’est pas facile de copier-coller, car sur ce genre de sujet, il faut en avoir la conviction.
Le mot de la fin
Tu l’auras compris, je fais le pari d’une modération systématique de tout contenu publié sur Licorn. Je pense que les créateurs culinaires et les utilisateurs de la plateforme ne doivent pas être soumis à des messages haineux.
Je pense que l’on peut créer un environnement sain, où l’on peut échanger sereinement sans craindre d’ouvrir les commentaires parce qu’on a “twisté” une recette traditionnelle, qui n’est pas du goût de tout le monde, ou que notre physique ne plaît pas à certains.
Et enfin je pense que construire ce genre de système, qui peut paraître invasif, de façon transparente avec sa communauté, est un élément essentiel et rassurant, pour éviter tout dérapage. C’est un garde-fou.
Si tu ne me connais pas, je m’appelle Yoann, je construis Licorn, et je documente ici sa création, sans bullshit.
A très vite !
Yoann
UGC = User Generated Content, c’est-à-dire le contenu écrit par des utilisateurs eux-mêmes, et non l’entreprise qui commercialise le produit sur lequel ils interagissent. Cela peut être des commentaires sur un article, des discussions sur un forum, ou une recette de cuisine par exemple.