保留の帯を持つ有害性モデレーター
キーワードのふるいは見え見えの攻撃を捕まえますが、口調は読めません。「このメッセージは有害か?」には、ラベル付きの例からパターンを学んだ学習済みの分類器が欲しいところです。これはまさに、コンテンツモデレーションのエンドポイントが内部でやっていることで、scikit-learn を使えば十数行でまともなものを作れます。GPU も、クラウドも、LLM も要りません。
作り方は、テキスト分類の働き者のパイプラインです:
- TfidfVectorizer は各メッセージを単語の重要度のベクトルに変えます。すべてのメッセージに共通するありふれた単語は重みを下げられ、あるメッセージに特有の単語は重みを上げられます。それが「TF-IDF」の考えです。
- LogisticRegression は単語ごとの重みを学び、メッセージが有害である確率を出力します。fit を再現できるように
random_state=0を固定します。
これを本番の形にするひねりが保留の帯です。生の分類器は、51% しか確信がなくても、必ずラベルを 1 つに決めてしまいます。モデレーションではそれは無謀です:きわどい判断は自動で決めるのではなく、人に回すべきです。だからモデルの確定した predict を使う代わりに、確率を読んで、自分で決めた両側のルールを適用します:
proba = model.predict_proba(X)[:, toxic_col] # P(toxic) per message
if proba >= high: label = "toxic"
elif proba <= low: label = "clean"
else: label = "abstain" # send to a human小さなラベル付きのデータで学習させてから、取っておいたひとかたまりを、下の端と上の端を使って "toxic"、"clean"、"abstain" に分類します。はっきり無礼なメッセージは toxic、はっきり友好的なものは clean で戻ってくるはずで、モデルに確信がないものは、当て推量をするのではなく abstain に入るはずです。学習用データが小さいと確率は真ん中あたりに固まるので、ここで実際にクラスを分けるのは (0.45, 0.55) のような狭い帯です。
LLM そのものではなく分類器を使う理由
ホストされたモデレーションのモデルはあります(OpenAI のモデレーションのエンドポイント、Perspective API など)し、本番ではそのどれかを呼ぶことも多いでしょう。ここでローカルなものを作るのには理由が 3 つあります:この砂場でオフラインで動くこと、呼び出しごとのコストがかからないこと、そして動く部品が見えることです。特徴量、単語ごとに学んだ重み、確率、そして人が決めたしきい値。これらの概念は、あとでどんなモデレーションのサービスをつなぐときにもそのまま通用します。
Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) を fit して返す train_moderator(texts, labels) を作ってください。それから、有害クラスの predict_proba を読み、"toxic"(proba >= high)、"clean"(proba <= low)、"abstain"(そのあいだ)のリストを返す classify(model, texts, low, high) を書いてください。最後に preds = classify(model, HELD_OUT, 0.45, 0.55) としてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。