Un moderatore di tossicità con una fascia di astensione
I filtri a parole chiave beccano gli attacchi ovvi, ma non sanno leggere il tono. Per "questo messaggio è tossico?" vuoi un classificatore addestrato che abbia imparato gli schemi da esempi etichettati. È esattamente ciò che fa sotto il cofano un endpoint di moderazione dei contenuti, e con scikit-learn puoi costruirne uno rispettabile in una dozzina di righe. Niente GPU, niente cloud, niente LLM.
La ricetta è la pipeline da lavoro per classificare testo:
- TfidfVectorizer trasforma ogni messaggio in un vettore di importanze delle parole. Le parole comuni a tutti i messaggi vengono pesate meno; le parole distintive di un messaggio vengono pesate di più. È l'idea del "TF-IDF".
- LogisticRegression impara un peso per parola e dà una probabilità che il messaggio sia tossico. Fissiamo
random_state=0così l'addestramento è riproducibile.
Il tocco che gli dà una forma da produzione è una fascia di astensione. Un classificatore grezzo si impegna sempre su un'etichetta, anche quando è sicuro al 51%. In moderazione è avventato: una decisione al limite dovrebbe andare a una persona, non essere decisa in automatico. Quindi invece di prendere la predict secca del modello, leggi la sua probabilità e applichi una tua regola a due lati:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a humanAddestrerai su un piccolo insieme etichettato, poi classificherai un lotto tenuto da parte in "toxic", "clean" o "abstain" usando un bordo basso e un bordo alto. I messaggi chiaramente scortesi dovrebbero tornare toxic, quelli chiaramente amichevoli clean, e tutto ciò su cui il modello è incerto dovrebbe finire in abstain invece di tirare a indovinare. Un piccolo insieme di addestramento tiene le probabilità ammucchiate verso il centro, quindi una fascia stretta come (0.45, 0.55) è ciò che qui separa davvero le classi.
Perché un classificatore e non l'LLM stesso
Esistono modelli di moderazione ospitati (l'endpoint di moderazione di OpenAI, Perspective API e così via), e in produzione spesso ne chiameresti uno. Qui ne costruiamo uno locale per tre motivi: gira offline in questa sandbox, non costa niente per chiamata, e rende visibili le parti in movimento, le feature, un peso appreso per parola, una probabilità, e una soglia fissata da una persona. Quei concetti si trasferiscono direttamente a qualsiasi servizio di moderazione collegherai poi.
Costruisci train_moderator(texts, labels) che addestra una Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) e la restituisce. Poi scrivi classify(model, texts, low, high) che legge predict_proba per la classe toxic e restituisce una lista di "toxic" (proba >= high), "clean" (proba <= low), o "abstain" (in mezzo). Infine assegna preds = classify(model, HELD_OUT, 0.45, 0.55).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.