Лучшее среднее, то же умение
Почему это важно "У нашей модели меньше потери" - самое частое утверждение в языковом моделировании. Потери - среднее по каждому предсказанию, а среднее может улучшиться, вообще не улучшив ту часть, которая вам важна.
Курс записал два GPT, обученных одинаково, шириной 32 и 64. У более широкого меньше потери на отложенных данных. Но предсказания не все одинаковы: закончить начатое слово ("gradi", затем "e") легко; выбрать первую букву следующего слова - значит выбрать, что сказать дальше, и это трудно.
judge.per_position(model, X, Y) даёт потери каждого предсказания. Усредните их по всем позициям, по первым буквам слов и по остальной части каждого слова.
Сначала предскажите: становится ли более широкая модель лучше в выборе следующего слова?
Слова и символы этого урока
- seed
- число, которое фиксирует случайные выборы прогона; другой seed даёт другой результат
Присвойте my_guess значение "yes" или "no". Заполните loss[width] словарём из 'all', 'first letter' и 'inside word' для ширин 32 и 64. Присвойте gain_from вид позиции ("first letter" или "inside word"), откуда берётся выигрыш более широкой модели.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.