Un modérateur de toxicité avec une zone d'abstention
Les filtres par mots-clés attrapent les attaques évidentes, mais ils ne savent pas lire le ton. Pour « ce message est-il toxique ? », il te faut un classifieur entraîné qui a appris les motifs à partir d'exemples étiquetés. C'est exactement ce que fait en coulisse un service de modération de contenu, et tu peux en construire un honorable en une douzaine de lignes avec scikit-learn. Pas de GPU, pas de cloud, pas de LLM.
La recette est la chaîne de base de la classification de texte :
- TfidfVectorizer transforme chaque message en vecteur d'importance des mots. Les mots courants dans tous les messages pèsent moins ; les mots propres à un message pèsent plus. C'est l'idée du « TF-IDF ».
- LogisticRegression apprend un poids par mot et sort une probabilité que le message soit toxique. On fixe
random_state=0pour que l'ajustement soit reproductible.
La touche qui le rend prêt pour la production est une zone d'abstention. Un classifieur brut s'engage toujours sur une étiquette, même quand il n'est sûr qu'à 51%. En modération, c'est imprudent : un cas limite doit aller à un humain, pas être décidé automatiquement. Donc au lieu de prendre le predict tranché du modèle, tu lis sa probabilité et tu appliques ta propre règle à deux seuils :
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanTu vas entraîner sur un petit jeu étiqueté, puis classer un lot mis de côté en "toxic", "clean" ou "abstain" avec un seuil bas et un seuil haut. Les messages clairement grossiers doivent revenir toxic, les clairement amicaux clean, et tout ce dont le modèle n'est pas sûr doit tomber dans abstain au lieu d'être deviné. Un petit jeu d'entraînement garde les probabilités serrées près du milieu, donc c'est une zone étroite comme (0.45, 0.55) qui sépare vraiment les classes ici.
Pourquoi un classifieur et pas le LLM lui-même
Des modèles de modération hébergés existent (le service de modération d'OpenAI, Perspective API, etc.), et en production tu en appellerais souvent un. On en construit un local ici pour trois raisons : il tourne hors ligne dans ce bac à sable, il ne coûte rien par appel, et il rend visibles les pièces mobiles : les caractéristiques, un poids appris par mot, une probabilité et un seuil fixé par un humain. Ces notions se transposent directement à n'importe quel service de modération que tu brancheras plus tard.
Construis train_moderator(texts, labels) qui ajuste un Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) et le renvoie. Puis écris classify(model, texts, low, high) qui lit predict_proba pour la classe toxique et renvoie une liste de "toxic" (proba >= high), "clean" (proba <= low) ou "abstain" (entre les deux). Enfin, écris preds = classify(model, HELD_OUT, 0.45, 0.55).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.