シラバス レッスン 250 中 198 · LLM のまわりの機械学習
LLM のまわりの機械学習

確信度のしきい値と判断の保留

分類器は、まったく見当がつかないときでも必ず答えを返します。softmax は合計が 1 にならなければならないので、本当に混乱しているモデルでもトップのラベルを渡してきます -> ただ、その裏の確率が低いだけです。本番ではこれは危険です:顧客を黙って間違った先に振り分けるのは、自信がないと認めるより悪いのです。

直し方は、保留(abstain)の選択肢を備えた確信度のしきい値です。トップのラベルの確率を見て、基準を超えていればそれに従って動き、超えていなければ特別な "abstain" という判定を返し、要求を人間に(あるいはもっと高価なモデルに)引き渡します。これは、真剣な LLM システムならどれもが持つ、人間への引き継ぎの関門です。

probs  = [0.80, 0.12, 0.08]      # model is confident
labels = ["billing", "technical", "account"]
# top prob 0.80 >= 0.6 -> return "billing"

probs  = [0.40, 0.35, 0.25]      # model is unsure
# top prob 0.40 <  0.6 -> return "abstain"

しきい値はデータから調整するダイヤルです:上げれば保留が増え(より安全で、人の仕事が増える)、下げれば自動で動くことが増えます(より安く、より危険)。境界そのものが大切です -> しきい値とちょうど同じ確率を確信ありとみなすかどうかを決めましょう。ここでは >= threshold なら確信ありとします(境界の値は通ります)。

確率はどこから来るのでしょう?たいていは、先ほど作った分類器の model.predict_proba(...) か、プロトタイプごとのコサインスコアを分布に正規化したものです。どちらにしても関門のロジックは同じ小さな関数で、純粋で決定的です -> まさに単体テストできる種類のガードレールです。

関数を 1 つ作ってください。classify_with_threshold(probs, labels, threshold):確率がいちばん高いラベルを見つけます。その確率が >= threshold ならそのラベルを返し、そうでなければ文字列 "abstain" を返します。probs と labels は対応したリストです。実行を押して、確信のあるケースが通り、自信のないケースが保留される様子を見てください。

あなたの番

probs と labels が対応したリストである classify_with_threshold(probs, labels, threshold) を書いてください。確率がいちばん高いラベルを返しますが、それはその確率が >= threshold のときだけです。そうでなければ文字列 "abstain" を返します。しきい値とちょうど同じ確率は確信ありとして扱います。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。