Перекрытие в стиле Token-F1 и ROUGE
Точное совпадение слишком сурово к чему угодно длиннее метки. Спросите модель «Кто написал Мону Лизу и когда?» и эталонный ответ «Леонардо да Винчи, около 1503 года». Модель говорит «Ее написал Леонардо да Винчи примерно в 1503 году». Точное совпадение ставит этому ноль. Это явно хороший ответ. Для ответов в свободном формате вам нужно partial-credit оценивание, и два стандартных инструмента это token-F1 и ROUGE.
Token-F1 рассматривает каждый ответ как набор слов и спрашивает, насколько они пересекаются. Переведите в нижний регистр, разделите по пробелам и сравните два набора токенов:
- precision = (tokens in both) / (tokens in the prediction) -> штрафует за добавление мусора в ответ.
- recall = (tokens in both) / (tokens in the gold) -> штрафует за пропуск слов из gold.
- F1 = среднее гармоническое,
2 * P * R / (P + R)-> одно число, которое штрафует за слабость с любой из сторон.
Идентичные строки получают 1.0; ответы без общих слов получают 0.0. Сделайте один вручную: prediction "the cat ran", gold "the dog sat". Единственный общий токен это the, поэтому точность (precision) это 1/3, полнота (recall) это 1/3, а F1 это 1/3.
ROUGE-N - это метрика, по которой оценивается суммаризация. Вместо отдельных слов она считает перекрывающиеся n-grams (непрерывные последовательности из n токенов) и сообщает recall: сколько из n-грамм в эталоне есть в предсказании?
def ngrams(tokens, n):
return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]Для gold "the cat sat on" и prediction "the cat sat": четыре униграмма gold это the, cat, sat, on; три появляются, поэтому ROUGE-1 это 3/4. Три биграммы gold это (the,cat), (cat,sat), (sat,on); две появляются, поэтому ROUGE-2 это 2/3. ROUGE-2 обычно ниже, чем ROUGE-1, потому что соответствие порядка слов order сложнее, чем соответствие слов, и именно поэтому вы сообщаете оба.
Что строить.
token_f1(pred, gold)-> F1 над строчными токенами sets; возвращайте0.0если любая сторона пуста или нет пересечения (никогда не делите на ноль).rouge_n(pred, gold, n)-> доля n-грамм золотого стандарта, которые встречаются в предсказании;0.0когда в золотом стандарте нет n-грамм.
Чем это отличается от библиотеки. Для обучения мы считаем баллы по токенам sets, поэтому повторяющееся слово считается один раз. Продакшн токен-F1 (в стиле SQuAD) использует подсчет мультимножеств, поэтому дубликаты имеют вес, а настоящий ROUGE добавляет ROUGE-L, который оценивает самую длинную общую подпоследовательность, а не фиксированные n-граммы. Идея та же; продакшн версии просто более тщательно учитывают дубликаты и порядок слов.
Нажмите Run, чтобы оценить предсказание по сравнению с эталоном.
Напишите token_f1(pred, gold) для вычисления F1 двух списков токенов в нижнем регистре (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = среднее гармоническое), возвращайте 0.0, если любая сторона пуста или нет пересечения. Напишите rouge_n(pred, gold, n), возвращающий долю n-грамм золотого стандарта (непрерывных кортежей из n токенов), которые есть в предсказании, возвращайте 0.0, если в золотом стандарте нет n-грамм.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.