assert による評価(完全一致と包含)
プロンプトを変えたら、出力が「良くなった気がする」。その感覚は結果ではありません。評価の仕事は、それをプルリクエストに書ける数に置き換えることです:このプロンプトは正解の組で 0.86 を取り、古いものは 0.74 だった。凝ったものに手を伸ばす前に、働き者の評価はいちばん安いものです:正しい答えがわかっている入力のラベル付きの組を用意し、システムを走らせ、いくつ正解したかを数えるのです。
厄介なのは、何を「正解」とするかを決めることです。LLM が正解の文字列を 1 バイトずつそのまま返すことはまずありません。ピリオドを付けたり、単語を大文字にしたり、答えを文で包んだりします。だから照合のモードを選びます:
- exact -> 正規化(小文字にし、まわりの空白を取り除く)したあとで、予測が正解の答えに等しい。短く閉じた答えに使います:ラベル、はい/いいえ、都市。
- contains -> 正解の答えが予測のどこかの中に現れる。モデルがおしゃべりしてよいときに使います:「The capital is Paris.」は、正解
parisに対して正解として数えられるべきです。
正規化が大切です。それがないと "Paris" と "paris" は外れとして採点され、評価があなたにうそをつきます。比較 1 つの形はこうです:
def score_one(pred, gold, mode):
p = pred.strip().lower()
g = gold.strip().lower()
if mode == "exact":
return 1.0 if p == g else 0.0
if mode == "contains":
return 1.0 if g in p else 0.0
raise ValueError("unknown mode: " + mode)そうすれば正解率は、例ごとのそのスコアの平均にすぎません。本物の道具立てでは predictions はライブのモデルの呼び出しから来ますが、ここで採点されるのは、ぴったり正しくなければならない部分、つまり採点の計算です。安全を意識したどの道具立てにも、さらに 2 つの確認があります:許可リスト(どの出力も決まったラベルの組のどれかでなければならない)と、禁止パターンの走査(どの出力も「as an AI」のような禁止された言い回しを含んではならない)です。
作るもの。
evaluate(predictions, gold, mode)-> 2 つの並行したリストについての exact か contains のスコアの平均で、小数点以下 4 桁にroundしたもの。空のリストはクラッシュせずに0.0を返します。未知のモードではValueErrorを送出します。label_in_set(outputs, allowed)-> 前後の空白を取り除いた出力のうち、allowedの組にあるものがいくつかを数えた{"passed", "failed"}。has_forbidden(text, patterns)->patternsの中のどれかの正規表現がtextの中に見つかればTrue。
実行を押して、両方のモードで正解の組を採点しましょう。
mode が 'exact'(正規化した等しさ)か 'contains'(正解が予測の中に現れる)であるとして、2 つの並行したリストについてのスコアの平均を返す evaluate(predictions, gold, mode) を書いてください。strip().lower() で正規化し、正解率を小数点以下 4 桁に round し、空の組なら 0.0 を返し、未知のモードでは ValueError を送出します。さらに、前後の空白を取り除いた出力を allowed の組と照らして数える label_in_set(outputs, allowed) -> {'passed', 'failed'} と、大文字・小文字を無視して、どれかの正規表現のパターンが text の中に見つかれば True を返す has_forbidden(text, patterns) を書いてください(だから as an ai は「As an AI」も捕まえます)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。