シラバス レッスン 250 中 236 · プロジェクト:プロンプト評価の CI
プロジェクト:プロンプト評価の CI

正解の組 + 採点関数

新しいプロンプトを出荷したら、それが良くなった気がする。チームリーダーは、大切な唯一の質問をします:どれだけ良くなったのか、そしてどうやってわかるのか?「雰囲気」はコードレビューを生き残れません。仕事は、あいまいな主張を守り抜ける数に変えることで、あらゆるプロンプト評価の道具立ての土台は、正解の組(入力と、正しいとわかっている答えを組にしたリスト)と採点関数(モデルの答えが正解にどれだけ近いかを言う関数)です。

これは 3 部構成のプロジェクトのレッスン 1 です。モジュールの終わりには、本物の後退を防ぐ CI の関門付きのプロンプト評価の道具立てができます -> 採用担当者が履歴書で「プロンプト評価の道具立て + 後退を防ぐ関門を作った」と見て、LLM の機能を責任を持って出荷できる人だとすぐにわかる種類のものです。今日は物差しを作ります:3 つの採点関数と、そのどれかを正解の組全体に適用する実行役です。

範囲について正直な注記を 1 つ:ここで作る道具立てと後退を防ぐ関門のロジックは本物で、そのまま持ち運べますが、判定役のモデルはモックで、ここでの「正解率」は完全一致です。本物のプロジェクトでは、これと同じ部品をライブの判定役のモデルともっと豊かな採点関数につなぐでしょう。

課題が違えば必要な採点関数も違うので、3 つ作ります:

  • score_exact(pred, gold) -> 両方に .strip() したあとで予測が正解に等しければ 1.0、そうでなければ 0.0。完全一致だけが数に入る分類器("positive" か "negative")には、これが正しい選択です。
  • score_contains(pred, gold) -> 正解の文字列が予測のどこかに現れれば(大文字・小文字を区別せず、両方の空白を取り除く)1.0、そうでなければ 0.0。余分な単語があってもかまわない「答えは大事な事実に触れたか?」の確認に向いています。
  • token_f1(pred, gold) -> 単語の重なりに基づく [0.0, 1.0] の部分点のスコア。惜しい答えがまったくの外れに勝つべき、自由なテキストの答えの働き者です。

トークン F1 の仕組み。両方の文字列を小文字にし、単語のトークンに分割します。重複を考慮して、共有するトークンがいくつかを数えます(トークンのリストを多重集合として扱うので、collections.Counter とその & による共通部分が味方です)。それから:

overlap   = sum((Counter(pred_tokens) & Counter(gold_tokens)).values())
precision = overlap / len(pred_tokens)   # of the words I said, how many were right?
recall    = overlap / len(gold_tokens)   # of the words I should have said, how many did I?
f1        = 2 * precision * recall / (precision + recall)

解いた例:pred="the quick brown fox"、gold="the lazy brown dog"。共有するのは the と brown -> 重なりは 2。適合率は 2/4、再現率は 2/4 なので、F1 は 0.5 です。端に注意しましょう:どちらかの側のトークンが 0 個か、重なりが 0 なら、F1 は 0.0 です(決して 0 で割らないこと)。

最後に、採点関数を評価に変える実行役です:

  • run_suite(predictions, golds, scorer) -> 与えられた scorer 関数で各 (pred, gold) の組を採点し、{"score": mean_score, "per_case": [list of each case's score]} を返します。空のテスト群の平均は 0.0 です。

採点関数を(ハードコードするのではなく)渡す設計のおかげで、1 つの道具立てで完全一致の分類器も自由なテキストの答えも採点できます。実行を押して、小さな正解の組を 3 つの違うやり方で採点しましょう。

あなたの番

プロンプト評価の道具立ての採点の中核を作ってください。score_exact(pred, gold)(空白を取り除いて完全一致なら 1.0、そうでなければ 0.0)、score_contains(pred, gold)(空白を取り除いて小文字にした正解が予測の部分文字列なら 1.0、そうでなければ 0.0)、そして token_f1(pred, gold)(小文字にした単語のトークンについてのトークンの重なりの F1 で、どちらかの側が空か重なりがなければ 0.0)を書きます。それから {"score": mean, "per_case": [scores]} を返す run_suite(predictions, golds, scorer) を書きます(空のテスト群なら平均は 0.0)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。