Programma Lezione 192 di 250 · IA responsabile: sicurezza, moderazione e red teaming
IA responsabile: sicurezza, moderazione e red teaming

Un moderatore di tossicità con una fascia di astensione

I filtri a parole chiave beccano gli attacchi ovvi, ma non sanno leggere il tono. Per "questo messaggio è tossico?" vuoi un classificatore addestrato che abbia imparato gli schemi da esempi etichettati. È esattamente ciò che fa sotto il cofano un endpoint di moderazione dei contenuti, e con scikit-learn puoi costruirne uno rispettabile in una dozzina di righe. Niente GPU, niente cloud, niente LLM.

La ricetta è la pipeline da lavoro per classificare testo:

  • TfidfVectorizer trasforma ogni messaggio in un vettore di importanze delle parole. Le parole comuni a tutti i messaggi vengono pesate meno; le parole distintive di un messaggio vengono pesate di più. È l'idea del "TF-IDF".
  • LogisticRegression impara un peso per parola e dà una probabilità che il messaggio sia tossico. Fissiamo random_state=0 così l'addestramento è riproducibile.

Il tocco che gli dà una forma da produzione è una fascia di astensione. Un classificatore grezzo si impegna sempre su un'etichetta, anche quando è sicuro al 51%. In moderazione è avventato: una decisione al limite dovrebbe andare a una persona, non essere decisa in automatico. Quindi invece di prendere la predict secca del modello, leggi la sua probabilità e applichi una tua regola a due lati:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Addestrerai su un piccolo insieme etichettato, poi classificherai un lotto tenuto da parte in "toxic", "clean" o "abstain" usando un bordo basso e un bordo alto. I messaggi chiaramente scortesi dovrebbero tornare toxic, quelli chiaramente amichevoli clean, e tutto ciò su cui il modello è incerto dovrebbe finire in abstain invece di tirare a indovinare. Un piccolo insieme di addestramento tiene le probabilità ammucchiate verso il centro, quindi una fascia stretta come (0.45, 0.55) è ciò che qui separa davvero le classi.

Perché un classificatore e non l'LLM stesso

Esistono modelli di moderazione ospitati (l'endpoint di moderazione di OpenAI, Perspective API e così via), e in produzione spesso ne chiameresti uno. Qui ne costruiamo uno locale per tre motivi: gira offline in questa sandbox, non costa niente per chiamata, e rende visibili le parti in movimento, le feature, un peso appreso per parola, una probabilità, e una soglia fissata da una persona. Quei concetti si trasferiscono direttamente a qualsiasi servizio di moderazione collegherai poi.

Tocca a te

Costruisci train_moderator(texts, labels) che addestra una Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) e la restituisce. Poi scrivi classify(model, texts, low, high) che legge predict_proba per la classe toxic e restituisce una lista di "toxic" (proba >= high), "clean" (proba <= low), o "abstain" (in mezzo). Infine assegna preds = classify(model, HELD_OUT, 0.45, 0.55).

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.