シラバス レッスン 250 中 194 · 責任ある AI:安全性、モデレーション、レッドチーミング
責任ある AI:安全性、モデレーション、レッドチーミング

拒否の調整:拒否しすぎと拒否しなさすぎ

攻撃をブロックするのは安全の半分にすぎません。もう半分はブロックしすぎないことです。少しでもきわどい質問をすべて拒否するモデルは、安全だけれど役に立ちません。トーストを焼くたびに鳴り出す煙探知機の安全版です。同じラベル付きのデータで両方の失敗の仕方を測り、そのあいだの線を調整する必要があります。

アプリがすべきことのラベルを付けたプロンプトの組を用意します:"refuse"(本当に有害)か "answer"(無害)です。守りはプロンプトごとにリスクスコアを出し、スコアがしきい値を超えたら拒否します。起こりうる誤りは 2 つです:

  • 拒否しすぎ(偽陽性):答えるべきプロンプトを拒否した。うっとうしく、ユーザーを遠ざける。
  • 拒否しなさすぎ(偽陰性):拒否すべきプロンプトに答えた。危険で、新聞の見出しになるリスク。

"refuse" を陽性クラスとして扱えば、標準的な指標がすべてを語ってくれます:

precision = TP / (TP + FP)   # of what I refused, how much truly needed refusing
recall    = TP / (TP + FN)   # of the truly-harmful, how much I caught
f1        = 2 * P * R / (P + R)

適合率が低いのは拒否しすぎていること(拒否の中に無害なプロンプトがたくさんある)を意味します。再現率が低いのは拒否しなさすぎていること(有害なプロンプトがすり抜けている)を意味します。しきい値を動かすと、両者はトレードオフになります:積極的に拒否すれば再現率は上がり適合率は下がり、控えめに拒否すればその逆です。refusal_metrics(scores, labels, threshold) を書き、それから候補のしきい値を順に試して F1 がいちばん高いものを返す best_threshold(scores, labels, candidates) を書きます。F1 は、どちらの誤りも暴走させない 1 つの数です。

テストが確かめる正しさの細部が 2 つあります。score >= threshold のときに拒否します(以上なので、ちょうど線の上のスコアは拒否します)。そして指標の分母が 0 のとき(何も拒否しなかったので適合率が定義できない)は、クラッシュする代わりに 0.0 を返します。指標は zero_division=0 を付けた scikit-learn の precision_score、recall_score、f1_score と一致しなければなりません。テスト済みのライブラリと食い違う手作りの指標を出荷してはいけないからです。

あなたの番

labels が "refuse"/"answer" で、score >= threshold のとき refuse と予測する refusal_metrics(scores, labels, threshold) を書いてください。"refuse" を陽性として扱い、それぞれ小数点以下 4 桁に round した {"precision", "recall", "f1"} を返します。分母が 0 の指標は 0.0 です(zero_division=0 の sklearn と一致しなければなりません)。それから、F1 がいちばん高い候補を返す(同点ならいちばん小さいしきい値が勝つ)best_threshold(scores, labels, candidates) を書き、best = best_threshold(SCORES, LABELS, CANDIDATES) としてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。