シラバス レッスン 250 中 238 · プロジェクト:プロンプト評価の CI
プロジェクト:プロンプト評価の CI

後退を防ぐ関門

これがフィナーレで、履歴書に載る一行です:プロンプト評価の道具立て + 後退を防ぐ関門を作った。採点関数(レッスン 1)と判定役のパーサー(レッスン 2)がそろいました。今度は、これを CI にする部品をつなぎます:プロンプトの変更のたびに実行され、品質が下がったらマージをブロックする関門です。これが、チームメイトの「ちょっとした手直し」が本番の正解率をこっそり沈めるのを止めるものです -> 決して疲れない自動のレビュー役です。

モデルはこうです:正解の組があり、プロンプトの 2 つの版が、それぞれその組についての予測のリストを生みます。ここでの正解率は単に、正解(空白を取り除いたもの)と完全に一致する予測の割合です。まず 2 つを比べます:

  • compare(v1_preds, v2_preds, golds) -> {"v1": acc1, "v2": acc2, "delta": acc2 - acc1}。各正解率は golds に対する完全一致の率で、delta は v2 が v1 に比べてどれだけ動いたかです。正の delta は候補が改善したこと、負は後退したことを意味します。

それから関門そのものです。CI ではノイズでブロックはしません -> min_delta のしきい値で、候補が拒否される前に、ごくわずかな許容される量だけ下がることを許します(たいてい 0.0 で、「悪くなってはいけない」という意味です):

  • gate(baseline, candidate, min_delta) -> baseline と candidate はそれぞれ (preds, golds) の組です。両方を完全一致の正解率として採点し、delta = candidate_acc - baseline_acc を計算して、{"pass": bool, "delta": delta, "report": str} を返します。関門は delta >= min_delta のとき通り、そうでなければ落ちます。

report は、開発者が CI のログで見る、人が読める 1 行です。結果と数字を述べるようにしましょう。たとえば "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" か、その FAIL: ... の版です。テストは、レポートが真偽値に合った PASS か FAIL で始まり、両方の正解率に触れていることを確かめるので、正確な言い回しはあなたしだいですが、事実は入っていなければなりません。

具体的に:0.8 の基準と 0.6 の候補で min_delta=0.0 なら -> delta -0.2 で、関門は落ち、マージはブロックされます。入れ替えれば候補は改善しています -> 関門は通ります。その 1 つの真偽値こそ、CI につないで「プロンプトが良くなったようだ」を「プロンプトは証明できる形で悪くなっていない、さもなければビルドが赤くなる」に変えるものです。実行を押して、改善と後退を関門にかけましょう。

あなたの番

後退を防ぐ CI の関門を作ってください。各値が完全一致の正解率(空白を取り除いた正解に等しい予測の割合)で、delta = v2 - v1 である {"v1", "v2", "delta"} を返す compare(v1_preds, v2_preds, golds) を書きます。2 つの (preds, golds) の組を受け取り、{"pass": bool, "delta": float, "report": str} を返し、delta >= min_delta のときに限り通る gate(baseline, candidate, min_delta) を書きます。レポートは(真偽値に合った)PASS/FAIL で始まり、両方の正解率に、それぞれ小数点以下 3 桁("%.3f" なので、0.5 は 0.500 と表示されます)で触れなければなりません。後退は関門に落ちなければならず、改善は通らなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。