Programme Leçon 192 sur 250 · IA responsable : sécurité, modération et red-teaming
IA responsable : sécurité, modération et red-teaming

Un modérateur de toxicité avec une zone d'abstention

Les filtres par mots-clés attrapent les attaques évidentes, mais ils ne savent pas lire le ton. Pour « ce message est-il toxique ? », il te faut un classifieur entraîné qui a appris les motifs à partir d'exemples étiquetés. C'est exactement ce que fait en coulisse un service de modération de contenu, et tu peux en construire un honorable en une douzaine de lignes avec scikit-learn. Pas de GPU, pas de cloud, pas de LLM.

La recette est la chaîne de base de la classification de texte :

  • TfidfVectorizer transforme chaque message en vecteur d'importance des mots. Les mots courants dans tous les messages pèsent moins ; les mots propres à un message pèsent plus. C'est l'idée du « TF-IDF ».
  • LogisticRegression apprend un poids par mot et sort une probabilité que le message soit toxique. On fixe random_state=0 pour que l'ajustement soit reproductible.

La touche qui le rend prêt pour la production est une zone d'abstention. Un classifieur brut s'engage toujours sur une étiquette, même quand il n'est sûr qu'à 51%. En modération, c'est imprudent : un cas limite doit aller à un humain, pas être décidé automatiquement. Donc au lieu de prendre le predict tranché du modèle, tu lis sa probabilité et tu appliques ta propre règle à deux seuils :

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Tu vas entraîner sur un petit jeu étiqueté, puis classer un lot mis de côté en "toxic", "clean" ou "abstain" avec un seuil bas et un seuil haut. Les messages clairement grossiers doivent revenir toxic, les clairement amicaux clean, et tout ce dont le modèle n'est pas sûr doit tomber dans abstain au lieu d'être deviné. Un petit jeu d'entraînement garde les probabilités serrées près du milieu, donc c'est une zone étroite comme (0.45, 0.55) qui sépare vraiment les classes ici.

Pourquoi un classifieur et pas le LLM lui-même

Des modèles de modération hébergés existent (le service de modération d'OpenAI, Perspective API, etc.), et en production tu en appellerais souvent un. On en construit un local ici pour trois raisons : il tourne hors ligne dans ce bac à sable, il ne coûte rien par appel, et il rend visibles les pièces mobiles : les caractéristiques, un poids appris par mot, une probabilité et un seuil fixé par un humain. Ces notions se transposent directement à n'importe quel service de modération que tu brancheras plus tard.

À ton tour

Construis train_moderator(texts, labels) qui ajuste un Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) et le renvoie. Puis écris classify(model, texts, low, high) qui lit predict_proba pour la classe toxique et renvoie une liste de "toxic" (proba >= high), "clean" (proba <= low) ou "abstain" (entre les deux). Enfin, écris preds = classify(model, HELD_OUT, 0.45, 0.55).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.