シラバス レッスン 250 中 167 · LLM の評価とテスト
LLM の評価とテスト

トークン F1 と ROUGE 風の重なり

完全一致は、ラベルより長いものに対しては容赦がありません。モデルに「モナ・リザを描いたのは誰で、いつ?」と尋ね、正解が「Leonardo da Vinci, around 1503」だとします。モデルは「It was painted by Leonardo da Vinci in roughly 1503.」と言います。完全一致ではこれは 0 点です。明らかに良い答えなのにです。自由なテキストの答えには部分点の採点が必要で、標準的な道具は トークン F1 と ROUGE の 2 つです。

トークン F1 は、各答えを単語の袋として扱い、どれだけ重なっているかを問います。小文字にし、空白で分割し、2 つのトークンの集合を比べます:

  • 適合率 =(両方にあるトークン)/(予測のトークン) -> 答えをゴミで水増しすることに罰を与えます。
  • 再現率 =(両方にあるトークン)/(正解のトークン) -> 正解の単語を抜かすことに罰を与えます。
  • F1 = 調和平均、2 * P * R / (P + R) -> どちらの側が弱くても罰を与える 1 つの数です。

同一の文字列は 1.0 を取り、単語を 1 つも共有しない答えは 0.0 を取ります。1 つ手で計算してみましょう:予測 "the cat ran"、正解 "the dog sat"。共有するトークンは the だけなので、適合率は 1/3、再現率は 1/3、F1 は 1/3 です。

ROUGE-N は、要約の採点に使われる指標です。1 つずつの単語の代わりに、重なる n-gram(n 個のトークンの連続した並び)を数え、再現率を報告します:正解の n-gram のうち、いくつが予測に現れるか?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

正解 "the cat sat on" と予測 "the cat sat" について:正解の 4 つのユニグラムは the, cat, sat, on で、3 つが現れるので ROUGE-1 は 3/4 です。正解の 3 つのバイグラムは (the,cat), (cat,sat), (sat,on) で、2 つが現れるので ROUGE-2 は 2/3 です。単語の順番を一致させるのは単語を一致させるより難しいので、ROUGE-2 はたいてい ROUGE-1 より低くなります。だからこそ両方を報告するのです。

作るもの。

  • token_f1(pred, gold) -> 小文字にしたトークンの集合についての F1。どちらかの側が空か、重なりがなければ 0.0 を返します(決して 0 で割らないこと)。
  • rouge_n(pred, gold, n) -> 正解の n-gram のうち、予測に現れるものの割合。正解に n-gram がなければ 0.0。

ライブラリとの違い。教えるためにトークンの集合で採点しているので、繰り返された単語は 1 回だけ数えられます。本番のトークン F1(SQuAD 方式)は多重集合の数を使うので重複にも重みが付きますし、本物の ROUGE には、決まった n-gram ではなく最長共通部分列を採点する ROUGE-L が加わります。考え方は同じで、本番の版は重複と単語の順番をもっと丁寧に数えるだけです。

実行を押して、予測を参照と照らして採点しましょう。

あなたの番

2 つの小文字にしたトークンの集合の F1(適合率 = 重なり / 予測のトークン、再現率 = 重なり / 正解のトークン、F1 = 調和平均)を計算し、どちらかの側が空か重なりがなければ 0.0 を返す token_f1(pred, gold) を書いてください。正解の n-gram(n 個のトークンの連続したタプル)のうち、予測に現れるものの割合を返し、正解に n-gram がなければ 0.0 を返す rouge_n(pred, gold, n) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。