Программа курса Урок 229 из 246 · Модуль 22: Оценка утверждений
Модуль 22: Оценка утверждений

Тестовая выборка, которую модель уже видела

Почему это важно Большие модели обучаются на большей части публичного интернета, а публичные тестовые выборки лежат в интернете. Когда тестовые примеры утекают в обучение, результаты растут по причине, не имеющей ничего общего с умением, и статья, которая их сообщает, может так об этом и не узнать.

Публичная тестовая выборка из 120 фрагментов для GPT курса. Её авторы говорят, что она написана отдельно. Часть её на самом деле скопирована из текста уроков курса, на котором и обучался GPT.

Стандартная проверка: нарежьте каждый фрагмент на куски по 13 символов и поищите их в обучающем тексте. Фрагмент, написанный отдельно, случайно разделяет мало длинных кусков; скопированный разделяет их все. judge.overlap(p) даёт долю кусков фрагмента, найденных в обучающем тексте, а judge.losses(model, passages) - потери модели на каждом фрагменте.

Сначала предскажите: удаление утёкших фрагментов сделает сообщаемые потери лучше или хуже?

Слова и символы этого урока
загрязнение (утечка)
тестовые примеры, которые были и в обучающих данных
Твоя очередь

Присвойте my_guess значение "better" или "worse". Заполните reported (средние потери по всем 120), leaked (список True/False, пересечение выше 0,5), clean (средние потери по неутёкшим фрагментам) и leaked_loss.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.