シラバス レッスン 250 中 169 · LLM の評価とテスト
LLM の評価とテスト

LLM-as-Judge(ルーブリックの作成と判定の解析)

完全一致、F1、ROUGE はどれも、比べる相手の正解が必要です。でも自由な形の出力、「この説明はわかりやすかったか?」「口調はプロらしかったか?」には、1 つの正しい文字列がありません。業界が落ち着いた規模を広げられる答えが LLM-as-judge です:2 つ目のモデルに答えとルーブリックを渡し、各基準を採点するよう頼むのです。きちんと定めたルーブリックなら、人間の評価者との一致はしばしば 80-90% の範囲に収まりますが、これは課題によって大きく変わり、微妙なケースや敵対的なケースでは急激に下がりえるので、どの 1 つの数も法則ではなく課題に固有のものとして扱いましょう。それでも、定期的に人間のラベルと照らして抜き取り検査をしている限り、たいていは毎晩何千もの出力に走らせられるくらいには一貫しています。

正直な部分を話しましょう。そしてそれが、このレッスンを採点できる理由です。判定役が実際に採点するのはモデルの呼び出しで、モデルの呼び出しは決定的でないので、決して採点しません。あなたがエンジニアリングし、採点されるのは、呼び出しのまわりの決定的な足場です:判定役のプロンプトを組み立てることと、判定を解析して取り出すことです。本番では、真ん中のステップは本物の呼び出しです:

# the ONE non-deterministic step (shown, not graded):
verdict = call_model(build_judge_prompt(answer, rubric))
scores = parse_judge_scores(verdict)

このコースのデバイス上の WebLLM はブラウザでライブに判定役を演じられますが、テストがそれに頼ることは決してありません。確かめるのは、あなたが組み立てるプロンプトと、あなたが書くパーサーです。

プロンプトは判定役をしっかり押さえなければなりません:役割を述べ、ルーブリックの基準に番号を振って並べ、答えを示し、解析できるように機械で読める判定を求めます。標準的なコツは、基準ごとに 1 行、決まった形、ここでは score: N/5 を強制することです:

You are a strict grader. Score the answer against the rubric.

RUBRIC:
1. Is it factually correct?
2. Is it concise?

ANSWER:
<the answer text>

For each rubric item, reply on its own line as 'score: N/5'.

そうすれば解析は、すべての score: N/5 の行を(大文字・小文字を区別せずに)正規表現で掃き集め、整数を取り出すことです。集計は、スコアのリストを平均と合格率、つまりしきい値以上のスコアの割合に変えます。警報を出すのは合格率です:ひとかたまりの中の悪い答え 1 つはノイズですが、ずるずる下がる合格率は後退です。

作るもの。

  • build_judge_prompt(answer, rubric) -> 番号を振った各ルーブリックの項目、答え、そして score: N/5 の指示を含むプロンプトの文字列。
  • parse_judge_scores(text) -> すべての score: N/5 の行から、順番どおりに、大文字・小文字を区別せずに取り出した整数のリスト。
  • aggregate(scores, threshold=3) -> {"mean", "pass_rate"}(どちらも小数点以下 4 桁に round したもの)。空のリストなら 0 を返します。

実行を押して、判定役のプロンプトを組み立て、見本の判定を解析し、集計しましょう。

あなたの番

番号を振ったすべてのルーブリックの項目、答えのテキスト、そして項目ごとに score: N/5 と答えるよう求める指示を含むプロンプトの文字列を返す build_judge_prompt(answer, rubric) を書いてください。すべての score: N/5 の行から、順番どおりに(大文字・小文字を区別せずに)整数のリストを返す parse_judge_scores(text) を書いてください。小数点以下 4 桁に丸めた {'mean', 'pass_rate'} を返す aggregate(scores, threshold=3) を書いてください。pass_rate はスコアが >= threshold である割合で、空のリストなら 0 を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。