シラバス レッスン 250 中 192 · 責任ある AI:安全性、モデレーション、レッドチーミング
責任ある AI:安全性、モデレーション、レッドチーミング

保留の帯を持つ有害性モデレーター

キーワードのふるいは見え見えの攻撃を捕まえますが、口調は読めません。「このメッセージは有害か?」には、ラベル付きの例からパターンを学んだ学習済みの分類器が欲しいところです。これはまさに、コンテンツモデレーションのエンドポイントが内部でやっていることで、scikit-learn を使えば十数行でまともなものを作れます。GPU も、クラウドも、LLM も要りません。

作り方は、テキスト分類の働き者のパイプラインです:

  • TfidfVectorizer は各メッセージを単語の重要度のベクトルに変えます。すべてのメッセージに共通するありふれた単語は重みを下げられ、あるメッセージに特有の単語は重みを上げられます。それが「TF-IDF」の考えです。
  • LogisticRegression は単語ごとの重みを学び、メッセージが有害である確率を出力します。fit を再現できるように random_state=0 を固定します。

これを本番の形にするひねりが保留の帯です。生の分類器は、51% しか確信がなくても、必ずラベルを 1 つに決めてしまいます。モデレーションではそれは無謀です:きわどい判断は自動で決めるのではなく、人に回すべきです。だからモデルの確定した predict を使う代わりに、確率を読んで、自分で決めた両側のルールを適用します:

proba = model.predict_proba(X)[:, toxic_col]   # P(toxic) per message
if proba >= high:        label = "toxic"
elif proba <= low:       label = "clean"
else:                    label = "abstain"   # send to a human

小さなラベル付きのデータで学習させてから、取っておいたひとかたまりを、下の端と上の端を使って "toxic"、"clean"、"abstain" に分類します。はっきり無礼なメッセージは toxic、はっきり友好的なものは clean で戻ってくるはずで、モデルに確信がないものは、当て推量をするのではなく abstain に入るはずです。学習用データが小さいと確率は真ん中あたりに固まるので、ここで実際にクラスを分けるのは (0.45, 0.55) のような狭い帯です。

LLM そのものではなく分類器を使う理由

ホストされたモデレーションのモデルはあります(OpenAI のモデレーションのエンドポイント、Perspective API など)し、本番ではそのどれかを呼ぶことも多いでしょう。ここでローカルなものを作るのには理由が 3 つあります:この砂場でオフラインで動くこと、呼び出しごとのコストがかからないこと、そして動く部品が見えることです。特徴量、単語ごとに学んだ重み、確率、そして人が決めたしきい値。これらの概念は、あとでどんなモデレーションのサービスをつなぐときにもそのまま通用します。

あなたの番

Pipeline(TfidfVectorizer, LogisticRegression(random_state=0)) を fit して返す train_moderator(texts, labels) を作ってください。それから、有害クラスの predict_proba を読み、"toxic"(proba >= high)、"clean"(proba <= low)、"abstain"(そのあいだ)のリストを返す classify(model, texts, low, high) を書いてください。最後に preds = classify(model, HELD_OUT, 0.45, 0.55) としてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。