トークン F1 と ROUGE 風の重なり
完全一致は、ラベルより長いものに対しては容赦がありません。モデルに「モナ・リザを描いたのは誰で、いつ?」と尋ね、正解が「Leonardo da Vinci, around 1503」だとします。モデルは「It was painted by Leonardo da Vinci in roughly 1503.」と言います。完全一致ではこれは 0 点です。明らかに良い答えなのにです。自由なテキストの答えには部分点の採点が必要で、標準的な道具は トークン F1 と ROUGE の 2 つです。
トークン F1 は、各答えを単語の袋として扱い、どれだけ重なっているかを問います。小文字にし、空白で分割し、2 つのトークンの集合を比べます:
- 適合率 =(両方にあるトークン)/(予測のトークン) -> 答えをゴミで水増しすることに罰を与えます。
- 再現率 =(両方にあるトークン)/(正解のトークン) -> 正解の単語を抜かすことに罰を与えます。
- F1 = 調和平均、
2 * P * R / (P + R)-> どちらの側が弱くても罰を与える 1 つの数です。
同一の文字列は 1.0 を取り、単語を 1 つも共有しない答えは 0.0 を取ります。1 つ手で計算してみましょう:予測 "the cat ran"、正解 "the dog sat"。共有するトークンは the だけなので、適合率は 1/3、再現率は 1/3、F1 は 1/3 です。
ROUGE-N は、要約の採点に使われる指標です。1 つずつの単語の代わりに、重なる n-gram(n 個のトークンの連続した並び)を数え、再現率を報告します:正解の n-gram のうち、いくつが予測に現れるか?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]正解 "the cat sat on" と予測 "the cat sat" について:正解の 4 つのユニグラムは the, cat, sat, on で、3 つが現れるので ROUGE-1 は 3/4 です。正解の 3 つのバイグラムは (the,cat), (cat,sat), (sat,on) で、2 つが現れるので ROUGE-2 は 2/3 です。単語の順番を一致させるのは単語を一致させるより難しいので、ROUGE-2 はたいてい ROUGE-1 より低くなります。だからこそ両方を報告するのです。
作るもの。
token_f1(pred, gold)-> 小文字にしたトークンの集合についての F1。どちらかの側が空か、重なりがなければ0.0を返します(決して 0 で割らないこと)。rouge_n(pred, gold, n)-> 正解の n-gram のうち、予測に現れるものの割合。正解に n-gram がなければ0.0。
ライブラリとの違い。教えるためにトークンの集合で採点しているので、繰り返された単語は 1 回だけ数えられます。本番のトークン F1(SQuAD 方式)は多重集合の数を使うので重複にも重みが付きますし、本物の ROUGE には、決まった n-gram ではなく最長共通部分列を採点する ROUGE-L が加わります。考え方は同じで、本番の版は重複と単語の順番をもっと丁寧に数えるだけです。
実行を押して、予測を参照と照らして採点しましょう。
2 つの小文字にしたトークンの集合の F1(適合率 = 重なり / 予測のトークン、再現率 = 重なり / 正解のトークン、F1 = 調和平均)を計算し、どちらかの側が空か重なりがなければ 0.0 を返す token_f1(pred, gold) を書いてください。正解の n-gram(n 個のトークンの連続したタプル)のうち、予測に現れるものの割合を返し、正解に n-gram がなければ 0.0 を返す rouge_n(pred, gold, n) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。