Тестовая выборка, которую модель уже видела
Почему это важно Большие модели обучаются на большей части публичного интернета, а публичные тестовые выборки лежат в интернете. Когда тестовые примеры утекают в обучение, результаты растут по причине, не имеющей ничего общего с умением, и статья, которая их сообщает, может так об этом и не узнать.
Публичная тестовая выборка из 120 фрагментов для GPT курса. Её авторы говорят, что она написана отдельно. Часть её на самом деле скопирована из текста уроков курса, на котором и обучался GPT.
Стандартная проверка: нарежьте каждый фрагмент на куски по 13 символов и поищите их в обучающем тексте. Фрагмент, написанный отдельно, случайно разделяет мало длинных кусков; скопированный разделяет их все. judge.overlap(p) даёт долю кусков фрагмента, найденных в обучающем тексте, а judge.losses(model, passages) - потери модели на каждом фрагменте.
Сначала предскажите: удаление утёкших фрагментов сделает сообщаемые потери лучше или хуже?
Слова и символы этого урока
- загрязнение (утечка)
- тестовые примеры, которые были и в обучающих данных
Присвойте my_guess значение "better" или "worse". Заполните reported (средние потери по всем 120), leaked (список True/False, пересечение выше 0,5), clean (средние потери по неутёкшим фрагментам) и leaked_loss.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.