Программа курса Урок 167 из 250 · Оценка и тестирование LLM
Оценка и тестирование LLM

Перекрытие в стиле Token-F1 и ROUGE

Точное совпадение слишком сурово к чему угодно длиннее метки. Спросите модель «Кто написал Мону Лизу и когда?» и эталонный ответ «Леонардо да Винчи, около 1503 года». Модель говорит «Ее написал Леонардо да Винчи примерно в 1503 году». Точное совпадение ставит этому ноль. Это явно хороший ответ. Для ответов в свободном формате вам нужно partial-credit оценивание, и два стандартных инструмента это token-F1 и ROUGE.

Token-F1 рассматривает каждый ответ как набор слов и спрашивает, насколько они пересекаются. Переведите в нижний регистр, разделите по пробелам и сравните два набора токенов:

  • precision = (tokens in both) / (tokens in the prediction) -> штрафует за добавление мусора в ответ.
  • recall = (tokens in both) / (tokens in the gold) -> штрафует за пропуск слов из gold.
  • F1 = среднее гармоническое, 2 * P * R / (P + R) -> одно число, которое штрафует за слабость с любой из сторон.

Идентичные строки получают 1.0; ответы без общих слов получают 0.0. Сделайте один вручную: prediction "the cat ran", gold "the dog sat". Единственный общий токен это the, поэтому точность (precision) это 1/3, полнота (recall) это 1/3, а F1 это 1/3.

ROUGE-N - это метрика, по которой оценивается суммаризация. Вместо отдельных слов она считает перекрывающиеся n-grams (непрерывные последовательности из n токенов) и сообщает recall: сколько из n-грамм в эталоне есть в предсказании?

def ngrams(tokens, n):
    return [tuple(tokens[i:i + n]) for i in range(len(tokens) - n + 1)]

Для gold "the cat sat on" и prediction "the cat sat": четыре униграмма gold это the, cat, sat, on; три появляются, поэтому ROUGE-1 это 3/4. Три биграммы gold это (the,cat), (cat,sat), (sat,on); две появляются, поэтому ROUGE-2 это 2/3. ROUGE-2 обычно ниже, чем ROUGE-1, потому что соответствие порядка слов order сложнее, чем соответствие слов, и именно поэтому вы сообщаете оба.

Что строить.

  • token_f1(pred, gold) -> F1 над строчными токенами sets; возвращайте 0.0 если любая сторона пуста или нет пересечения (никогда не делите на ноль).
  • rouge_n(pred, gold, n) -> доля n-грамм золотого стандарта, которые встречаются в предсказании; 0.0 когда в золотом стандарте нет n-грамм.

Чем это отличается от библиотеки. Для обучения мы считаем баллы по токенам sets, поэтому повторяющееся слово считается один раз. Продакшн токен-F1 (в стиле SQuAD) использует подсчет мультимножеств, поэтому дубликаты имеют вес, а настоящий ROUGE добавляет ROUGE-L, который оценивает самую длинную общую подпоследовательность, а не фиксированные n-граммы. Идея та же; продакшн версии просто более тщательно учитывают дубликаты и порядок слов.

Нажмите Run, чтобы оценить предсказание по сравнению с эталоном.

Твоя очередь

Напишите token_f1(pred, gold) для вычисления F1 двух списков токенов в нижнем регистре (precision = overlap / prediction-tokens, recall = overlap / gold-tokens, F1 = среднее гармоническое), возвращайте 0.0, если любая сторона пуста или нет пересечения. Напишите rouge_n(pred, gold, n), возвращающий долю n-грамм золотого стандарта (непрерывных кортежей из n токенов), которые есть в предсказании, возвращайте 0.0, если в золотом стандарте нет n-грамм.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.