Lehrplan Lektion 192 von 250 · Verantwortungsvolle KI: Sicherheit, Moderation & Red-Teaming
Verantwortungsvolle KI: Sicherheit, Moderation & Red-Teaming

Ein Toxizitäts-Moderator mit einer Abstentionsbande

Keyword screens fangen die offensichtlichen Angriffe ab, aber sie können den Tonfall nicht lesen. Für "ist diese Nachricht toxisch?" brauchst du einen trained classifier, der die Muster aus gelabelten Beispielen gelernt hat. Genau das macht ein Content-Moderation-Endpoint im Hintergrund und du kannst einen anständigen in einem Dutzend Zeilen mit scikit-learn bauen. Keine GPU, keine Cloud, kein LLM.

Das Rezept ist die Arbeitstier text-classification Pipeline:

  • TfidfVectorizer verwandelt jede Nachricht in einen Vektor von Wort-Wichtigkeiten. Häufige Wörter über alle Nachrichten hinweg werden abgewertet; Wörter, die für eine Nachricht charakteristisch sind, werden aufgewertet. Das ist die "TF-IDF" Idee.
  • LogisticRegression lernt ein Gewicht pro Wort und gibt eine Wahrscheinlichkeit aus, dass die Nachricht toxisch ist. Wir fixieren random_state=0, damit der Fit reproduzierbar ist.

Der Kniff, der es produktionsfähig macht, ist ein abstain band. Ein roher Classifier entscheidet sich immer für ein Label, selbst wenn er sich nur zu 51% sicher ist. In der Moderation ist das leichtsinnig: Ein Grenzfall sollte an einen Menschen gehen und nicht automatisch entschieden werden. Also anstatt die harte predict des Modells zu nehmen, liest du seine Wahrscheinlichkeit und wendest deine eigene zweiseitige Regel an:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Du wirst auf einem kleinen gelabelten Satz trainieren, dann eine zurückgehaltene Charge in "toxic", "clean" oder "abstain" mit einer niedrigen Kante und einer hohen Kante klassifizieren. Die deutlich unhöflichen Nachrichten sollten als toxisch zurückkommen, die deutlich freundlichen als sauber, und alles, worüber das Modell sich unsicher ist, sollte in abstain landen, anstatt zu raten. Ein kleiner Trainingssatz hält die Wahrscheinlichkeiten nah in der Mitte, also ist ein enges Band wie (0.45, 0.55) das, was die Klassen hier tatsächlich trennt.

Warum ein Klassifikator und nicht das LLM selbst

Esistentierende Moderationsmodelle gibt es (OpenAIs Moderations-Endpunkt, Perspective API und so weiter), und in der Produktion würdest du oft eines davon aufrufen. Wir bauen hier ein lokales aus drei Gründen: es läuft offline in dieser Sandbox, es kostet nichts pro Aufruf, und es macht die beweglichen Teile sichtbar, Features, ein gelerntes Gewicht pro Wort, eine Wahrscheinlichkeit und einen menschlich gesetzten Schwellenwert. Diese Konzepte übertragen sich direkt auf den Moderationsdienst, den du später einbindest.

Du bist dran

Erstelle train_moderator(texts, labels), das zu Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) passt und es zurückgibt. Schreibe dann classify(model, texts, low, high), das predict_proba für die toxische Klasse liest und eine Liste von "toxic" (proba >= high), "clean" (proba <= low) oder "abstain" (dazwischen) zurückgibt. Setze schließlich preds = classify(model, HELD_OUT, 0.45, 0.55).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.