Kurrikulum Leson 192 van 250 · Verantwoordelike KI: Veiligheid, Moderasie & Red-Teaming
Verantwoordelike KI: Veiligheid, Moderasie & Red-Teaming

'n Toksisiteitsmoderator met 'n Onthoudband

Keyword skerms vang die duidelike aanvalle op, maar hulle kan nie toon nie. Vir "is hierdie boodskap toksies?" wil jy 'n trained classifier hê wat die patrone uit gelabelde voorbeelde geleer het. Dit is presies wat 'n content-moderation endpoint onder die oppervlak doen, en jy kan 'n deeglike een in 'n dozyn reëls met scikit-learn bou. Geen GPU, geen wolk, geen LLM nie.

Die resep is die werkperd teks-klassifikasie-pipeline:

  • TfidfVectorizer verander elke boodskap in 'n vektor van woordbelangrikheid. Algemene woorde oor alle boodskappe kry 'n laer weging. Woorde wat uniek is aan 'n boodskap kry 'n hoër weging. Dit is die "TF-IDF" idee.
  • LogisticRegression leer 'n gewig per woord en gee 'n waarskynlikheid uit dat die boodskap toksies is. Ons pin random_state=0 sodat die aanpassing herhaalbaar is.

Die draai wat dit produkie-geregtig maak, is 'n abstain band. 'n Ru-klassifiseerder verbind altyd by 'n etiket, selfs wanneer dit net 51% seker is. In matiging is dit roekeloos: 'n grensgeval moet na 'n mens gaan, nie outomaties besluit word nie. So in plaas daarvan om die model se harde predict te aanvaar, lees jy die waarskynlikheid en pas jou eie twee-syiese reël toe:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

Jy gaan op 'n klein gelabelde stel oefen, dan 'n gehoude pakkie in "toxic", "clean", of "abstain" klassifiseer deur 'n low edge en 'n high edge te gebruik. Die duidelik-onbeskof boodskappe moet as toxic terugkom, die duidelik-vriendelike boodskappe skoon, en enigiets waaroor die model onseker is moet in abstain beland eerder as om te raai. 'n Klein oefenset hou waarskynlikhede naby die middel, so 'n nou band soos (0.45, 0.55) is wat die klasse hier werklik skei.

Hoekom 'n klassifiseerder en nie die LLM self nie

Bestaande moderasiemodelle bestaan (OpenAI se moderasie-eindpunt, Perspective API, en so aan), en in produksie sou jy dikwels een van daardie modelle aanroep. Ons bou 'n plaaslike een hier vir drie redes: dit hardloop buite aanlyn in hierdie sandbox, dit kos niks per oproep nie, en dit maak die bewegende dele sigbaar, kenmerke, 'n geleerde gewig per woord, 'n waarskynlikheid, en 'n menslike drempelwaarde. Daardie konsepte oorgedra direk na enige moderasiediens wat jy later byvoeg.

Jou beurt

Bou train_moderator(texts, labels) wat by Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) pas en dit teruggee. Skryf dan classify(model, texts, low, high) wat predict_proba vir die toxic klas lees en 'n lys van "toxic" (proba >= high), "clean" (proba <= low), of "abstain" (daartussen) teruggee. Stel uiteindelik preds = classify(model, HELD_OUT, 0.45, 0.55).

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.