シラバス レッスン 250 中 170 · LLM の評価とテスト
LLM の評価とテスト

プロンプトの後退を防ぐ関門

採点関数(完全一致、F1、LLM の判定役)がそろいました。最後の部品は、それを関門に変えることです:プロンプトを変えるたびに CI が実行する「はい/いいえ」の判断で、「ちょっとした手直し」がこっそり事態を悪くすることが決してないようにします。これが品質を測ることと、品質を守ることの違いです。

(ここでの「後退」(regression)は、ソフトウェアで日常的に使う、悪いほうへの変化という意味で、機械学習のモジュールの回帰の手法のことではありません。)

同じ評価の組で 2 回の実行を比べます:基準(本番のプロンプト)と候補(あなたの変更)で、どちらも [0, 1] の範囲の例ごとのスコアの 2 つのリストです。関門は、3 つの基準を超えない限り変更をブロックします:

  • 全体の低下がない:候補の平均スコアが少なくとも基準の平均と同じ(わずかな許容でノイズを吸収する)。
  • 新しい失敗が少ない:候補が基準より悪いスコアを取った例の数が、予算内にとどまる(1 つの大きな勝ちで、いくつもの静かな後退を隠してはいけない)。
  • 下限:設定した場合は、平均の絶対的な最小値。

baseline_mean、candidate_mean、delta(候補から基準を引いたもの)、regressions(candidate[i] < baseline[i] - 1e-9 となるインデックスの数)、そして passed(すべての基準を超えたときだけ True になる真偽値)を持つレポートの辞書を返す regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) を作ってください。2 つのリストは同じ長さです。実行を押して、候補のプロンプトを関門にかけましょう。

あなたの番

例ごとのスコアの同じ長さの 2 つのリストについて、regression_gate(baseline, candidate, tol=0.01, max_regressions=0, min_mean=None) を書いてください。{"baseline_mean", "candidate_mean", "delta", "regressions", "passed"} を返します。delta = candidate_mean - baseline_mean、regressions は candidate[i] < baseline[i] - 1e-9 となるインデックスの数で、passed は candidate_mean >= baseline_mean - tol かつ regressions <= max_regressions かつ(min_mean is None または candidate_mean >= min_mean)のときだけ True です。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。