シラバス レッスン 250 中 166 · LLM の評価とテスト
LLM の評価とテスト

assert による評価(完全一致と包含)

プロンプトを変えたら、出力が「良くなった気がする」。その感覚は結果ではありません。評価の仕事は、それをプルリクエストに書ける数に置き換えることです:このプロンプトは正解の組で 0.86 を取り、古いものは 0.74 だった。凝ったものに手を伸ばす前に、働き者の評価はいちばん安いものです:正しい答えがわかっている入力のラベル付きの組を用意し、システムを走らせ、いくつ正解したかを数えるのです。

厄介なのは、何を「正解」とするかを決めることです。LLM が正解の文字列を 1 バイトずつそのまま返すことはまずありません。ピリオドを付けたり、単語を大文字にしたり、答えを文で包んだりします。だから照合のモードを選びます:

  • exact -> 正規化(小文字にし、まわりの空白を取り除く)したあとで、予測が正解の答えに等しい。短く閉じた答えに使います:ラベル、はい/いいえ、都市。
  • contains -> 正解の答えが予測のどこかの中に現れる。モデルがおしゃべりしてよいときに使います:「The capital is Paris.」は、正解 paris に対して正解として数えられるべきです。

正規化が大切です。それがないと "Paris" と "paris" は外れとして採点され、評価があなたにうそをつきます。比較 1 つの形はこうです:

def score_one(pred, gold, mode):
    p = pred.strip().lower()
    g = gold.strip().lower()
    if mode == "exact":
        return 1.0 if p == g else 0.0
    if mode == "contains":
        return 1.0 if g in p else 0.0
    raise ValueError("unknown mode: " + mode)

そうすれば正解率は、例ごとのそのスコアの平均にすぎません。本物の道具立てでは predictions はライブのモデルの呼び出しから来ますが、ここで採点されるのは、ぴったり正しくなければならない部分、つまり採点の計算です。安全を意識したどの道具立てにも、さらに 2 つの確認があります:許可リスト(どの出力も決まったラベルの組のどれかでなければならない)と、禁止パターンの走査(どの出力も「as an AI」のような禁止された言い回しを含んではならない)です。

作るもの。

  • evaluate(predictions, gold, mode) -> 2 つの並行したリストについての exact か contains のスコアの平均で、小数点以下 4 桁に round したもの。空のリストはクラッシュせずに 0.0 を返します。未知のモードでは ValueError を送出します。
  • label_in_set(outputs, allowed) -> 前後の空白を取り除いた出力のうち、allowed の組にあるものがいくつかを数えた {"passed", "failed"}。
  • has_forbidden(text, patterns) -> patterns の中のどれかの正規表現が text の中に見つかれば True。

実行を押して、両方のモードで正解の組を採点しましょう。

あなたの番

mode が 'exact'(正規化した等しさ)か 'contains'(正解が予測の中に現れる)であるとして、2 つの並行したリストについてのスコアの平均を返す evaluate(predictions, gold, mode) を書いてください。strip().lower() で正規化し、正解率を小数点以下 4 桁に round し、空の組なら 0.0 を返し、未知のモードでは ValueError を送出します。さらに、前後の空白を取り除いた出力を allowed の組と照らして数える label_in_set(outputs, allowed) -> {'passed', 'failed'} と、大文字・小文字を無視して、どれかの正規表現のパターンが text の中に見つかれば True を返す has_forbidden(text, patterns) を書いてください(だから as an ai は「As an AI」も捕まえます)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。