後退を防ぐ関門
これがフィナーレで、履歴書に載る一行です:プロンプト評価の道具立て + 後退を防ぐ関門を作った。採点関数(レッスン 1)と判定役のパーサー(レッスン 2)がそろいました。今度は、これを CI にする部品をつなぎます:プロンプトの変更のたびに実行され、品質が下がったらマージをブロックする関門です。これが、チームメイトの「ちょっとした手直し」が本番の正解率をこっそり沈めるのを止めるものです -> 決して疲れない自動のレビュー役です。
モデルはこうです:正解の組があり、プロンプトの 2 つの版が、それぞれその組についての予測のリストを生みます。ここでの正解率は単に、正解(空白を取り除いたもの)と完全に一致する予測の割合です。まず 2 つを比べます:
compare(v1_preds, v2_preds, golds)->{"v1": acc1, "v2": acc2, "delta": acc2 - acc1}。各正解率はgoldsに対する完全一致の率で、deltaは v2 が v1 に比べてどれだけ動いたかです。正の delta は候補が改善したこと、負は後退したことを意味します。
それから関門そのものです。CI ではノイズでブロックはしません -> min_delta のしきい値で、候補が拒否される前に、ごくわずかな許容される量だけ下がることを許します(たいてい 0.0 で、「悪くなってはいけない」という意味です):
gate(baseline, candidate, min_delta)->baselineとcandidateはそれぞれ(preds, golds)の組です。両方を完全一致の正解率として採点し、delta = candidate_acc - baseline_accを計算して、{"pass": bool, "delta": delta, "report": str}を返します。関門はdelta >= min_deltaのとき通り、そうでなければ落ちます。
report は、開発者が CI のログで見る、人が読める 1 行です。結果と数字を述べるようにしましょう。たとえば "PASS: delta +0.100 (baseline 0.800 -> candidate 0.900), threshold 0.000" か、その FAIL: ... の版です。テストは、レポートが真偽値に合った PASS か FAIL で始まり、両方の正解率に触れていることを確かめるので、正確な言い回しはあなたしだいですが、事実は入っていなければなりません。
具体的に:0.8 の基準と 0.6 の候補で min_delta=0.0 なら -> delta -0.2 で、関門は落ち、マージはブロックされます。入れ替えれば候補は改善しています -> 関門は通ります。その 1 つの真偽値こそ、CI につないで「プロンプトが良くなったようだ」を「プロンプトは証明できる形で悪くなっていない、さもなければビルドが赤くなる」に変えるものです。実行を押して、改善と後退を関門にかけましょう。
後退を防ぐ CI の関門を作ってください。各値が完全一致の正解率(空白を取り除いた正解に等しい予測の割合)で、delta = v2 - v1 である {"v1", "v2", "delta"} を返す compare(v1_preds, v2_preds, golds) を書きます。2 つの (preds, golds) の組を受け取り、{"pass": bool, "delta": float, "report": str} を返し、delta >= min_delta のときに限り通る gate(baseline, candidate, min_delta) を書きます。レポートは(真偽値に合った)PASS/FAIL で始まり、両方の正解率に、それぞれ小数点以下 3 桁("%.3f" なので、0.5 は 0.500 と表示されます)で触れなければなりません。後退は関門に落ちなければならず、改善は通らなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。