Programma Les 192 van 250 · Verantwoorde AI: Veiligheid, Moderatie & Red-Teaming
Verantwoorde AI: Veiligheid, Moderatie & Red-Teaming

Een Toxicity Moderator met een Abstain Band

Keyword screens vangen de voor de hand liggende aanvallen op, maar ze kunnen de toon niet lezen. Voor "is deze boodschap giftig?" wil je een trained classifier die de patronen heeft geleerd van gelabelde voorbeelden. Dit is precies wat een content-moderation endpoint onder de motorkap doet, en je kunt er een degelijke bouwen in een dozijn regels met scikit-learn. Geen GPU, geen cloud, geen LLM.

Het recept is de werkpaard tekstclassificatie pipeline:

  • TfidfVectorizer zet elk bericht om in een vector van woordbelang. Veelvoorkomende woorden in alle berichten krijgen een lager gewicht; woorden die specifiek zijn voor een bericht krijgen een hoger gewicht. Dat is het "TF-IDF" idee.
  • LogisticRegression leert een gewicht per woord en geeft een waarschijnlijkheid uit dat het bericht giftig is. We zetten random_state=0 vast zodat de fit reproduceerbaar is.

De wending die het productie-klaar maakt is een abstain band. Een ruwe classifier kiest altijd voor een label, zelfs als het er 51% zeker van is. In moderatie is dat roekeloos: een twijfelgeval moet naar een mens, niet automatisch beslist worden. Dus in plaats van de harde predict van het model te nemen, lees je de waarschijnlijkheid en pas je eigen tweezijdige regel toe:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Je traint op een kleine gelabelde set, en classificeert daarna een aparte batch in "toxic", "clean" of "abstain" met een lage grens en een hoge grens. De duidelijk onbeleefde berichten moeten als toxic terugkomen, de duidelijk vriendelijke als clean, en alles waar het model over twijfelt moet in abstain terechtkomen in plaats van een gok. Een kleine trainingsset houdt de waarschijnlijkheden dicht bij het midden, dus een smalle band zoals (0.45, 0.55) is wat de klassen hier echt scheidt.

Waarom een classifier en niet het LLM zelf

Ernstige moderatiemodellen bestaan (de moderatie-endpoint van OpenAI, Perspective API, enzovoort), en in productie zou je vaak een van die aanroepen. We bouwen hier een lokale versie voor drie redenen: het draait offline in deze sandbox, het kost niets per aanroep, en het maakt de bewegende delen zichtbaar, kenmerken, een geleerd gewicht per woord, een waarschijnlijkheid, en een door een mens ingestelde drempelwaarde. Die concepten zijn direct overdraagbaar naar welke moderatiedienst je later aansluit.

Jij bent aan de beurt

Bouw train_moderator(texts, labels) dat past bij een Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) en geef het terug. Schrijf daarna classify(model, texts, low, high) dat predict_proba leest voor de toxische klasse en een lijst van "toxic" (proba >= high), "clean" (proba <= low), of "abstain" (daartussen) teruggeeft. Stel tenslotte preds = classify(model, HELD_OUT, 0.45, 0.55) in.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.