プロンプトを評価する(正解の組での正解率)
「新しいプロンプトのほうが良い気がする」は答えではありません。知るためには正解の組(gold set)を持っておきます:入力と、信頼できる正しい出力の組です。入力にプロンプトを走らせ、各予測をその正解と比べ、数を報告します。その数こそ、自分をだまさずにプロンプトの v1 と v2 を比べる方法です。
採点関数を作ります。score_prediction(pred, gold) は、一致すれば 1.0、そうでなければ 0.0 を返し、大文字・小文字を区別せず、前後の空白を無視して比べます。実際には "Yes"、"yes"、" yes " はすべて同じ答えだからです。
evaluate(predictions, golds) は 2 つのリストを足並みをそろえてたどり、各組を採点し、まとめを返します:
evaluate(["yes", "NO", "maybe"], ["yes", "no", "yes"])
# {"accuracy": 0.6667, "correct": 2, "total": 3}accuracy は小数点以下 4 桁に丸めます。空の組を安全にしましょう:正解が 0 個なら、0 で割る代わりに {"accuracy": 0.0, "correct": 0, "total": 0} を返します。評価の組は絞り込まれていくものなので、空の切れ端で道具立てがクラッシュしてほしくないからです。
隠しテストの 1 つは、ランダムに生成した 50 組の予測と正解であなたの evaluate を走らせ、テストの中で計算した参照と比べます。見えているケースの対応表ではそれを生き延びられません。それが狙いです:答えを暗記するのではなく、本物の採点関数を作っているのです。実行を押して採点します。
大文字・小文字と前後の空白を無視して 2 つが一致すれば 1.0、そうでなければ 0.0 を返す score_prediction(pred, gold) を書いてください。組になったリストについて {"accuracy", "correct", "total"} を返し、accuracy を小数点以下 4 桁に丸め、空の組ならすべて 0 を返す(クラッシュしない)evaluate(predictions, golds) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。