LLM-as-Judge:ルーブリック + 判定の解析
完全一致とトークン F1 は、答えが自由な形になったとたんに役に立たなくなります。「このチケットを要約して」には千もの良い答えがあり、1 つの正解の文字列はありません。業界の回避策が LLM-as-judge です:2 つ目のモデルにルーブリックと照らして答えを読んでもらい、判定を返させるのです。チームがチャットボット、RAG の答え、エージェントのやりとりの記録を大規模に採点するのは、まさにこのやり方です。
エンジニアリングの現実、そして採用担当者が探りを入れるところはこれです:判定役は言語モデルなので、その返答は散らかった自由なテキストです。ある実行では VERDICT: PASS と言い、次の実行では Final verdict - fail と言い、ときには先に推論の段落が付きます。判定役の道具立てで壊れやすいのはプロンプトではなく、そのテキストからきれいで機械で使える結果を取り出すパーサーです。だからこのレッスンでは判定役はモックで(ライブのモデルなし、ネットワークなし)、そのまわりの 2 つの決定的な部品を作ります:ルーブリックのプロンプトと、判定のパーサーです。
ルーブリックのプロンプトを作る。build_rubric(criteria) は基準の文字列のリストを受け取り、判定役のための 1 つのプロンプトの文字列を返します。次を満たさなければなりません:
- 判定役が課題をわかるように、単語
Rubricを含む。 - すべての基準を、1 から番号を振って、それぞれ別の行に並べる(
1. accuracy、2. clarity、...)。 - そして最後に、判定役に正確な出力の約束を伝える:
VERDICT: PASSかVERDICT: FAILの行と、SCORE: <0-10>の行。(自分のパーサーが読む形式を、自分で定義しているのです。)
パーサーを作る。parse_verdict(judge_text) は判定役の生の返答を調べ、{"verdict": "PASS" or "FAIL", "score": int} を返します。本物の判定役の出力が強いる頑丈さのルール:
- 大文字・小文字を区別しない:
pass、PASS、Passはすべて PASS を意味する。 - 数に入るのはラベルの付いた判定だけ:
VERDICT: PASS、verdict = fail、verdict - pass。推論の中のただの「pass」は決定ではない:「VERDICT: FAIL. The fix would make it pass.」は FAIL で、「this does not pass」は決して PASS として数えてはいけない。判定役がラベル付きの判定をいくつも書いた(考えを変えた)ときは、最後のものが勝つ。 - スコアは、ルーブリックが求めた範囲である 0 から 10 の整数でなければならない。その外のものは無視する(「SCORE: 85」は素晴らしい答えではなく、判定役が約束を破っているのです)。有効なスコアのうち、最後のものが勝つ。
- 有効なものが何も見つからなければ、安全な既定値を返す:判定
"FAIL"とスコア0。解析できない判定役の返答を、決して黙って合格として数えてはいけない。
判定は re.findall(r"\bverdict\b\s*[:=-]?\s*(pass|fail)\b", text, re.I) で、スコアは re.findall(r"\bscore\b\s*[:=]?\s*(\d+)\b", text, re.I) で見つけ、0 から 10 のスコアを残し、それからそれぞれの最後のものを取ります。採点するのはパーサーとルーブリックだけで、ライブの判定役の呼び出しはこのレッスンでは文章の中だけのもので、テストでは決して実行しません。実行を押して、判定役の返答をいくつか解析しましょう。
LLM-as-judge の道具立ての決定的な半分を作ってください(判定役はモックです)。Rubric を含み、各基準に 1 から番号を振ってそれぞれ別の行に置き、VERDICT: PASS/FAIL + SCORE: <0-10> の出力の約束を述べるプロンプトの文字列を返す build_rubric(criteria) を書きます。{"verdict": "PASS"|"FAIL", "score": int} を返す parse_verdict(judge_text) を書きます(スコアは SCORE: 7、score=7、Score 7 のように書かれることがあります):大文字・小文字を区別せず、ラベル付きの判定(VERDICT: PASS、verdict = fail、verdict - pass)と 0 から 10 のスコアだけを数え、それぞれの最後のものを取り、何もなければ {"verdict": "FAIL", "score": 0} を既定にします。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。