Широким моделям нужны шаги поменьше
Почему это важно Скорость обучения, которая работает для маленькой модели, может погубить модель побольше. Команды, обучающие большие модели, тратят настоящие деньги, чтобы это выяснить; вы можете прочитать это по записанным прогонам.
Записанный эксперимент gpt-width-lr обучал крошечный GPT на ширинах 32, 64 и 128, каждую со скоростями обучения 0,001, 0,003 и 0,01, в течение 2 000 шагов, по три seed на каждую, и в конце измерял потери на отложенном тексте.
Предскажите, прежде чем смотреть: какая скорость обучения лучшая для самой широкой модели, 128?
Слова и символы этого урока
- query, key, value
- что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
Присвойте my_guess одно из 0.001, 0.003 или 0.01, затем заполните mean_loss: (width, lr) к средним итоговым потерям на отложенных данных по трём seed (exp.seeds(d=..., lr=...) даёт три прогона; итоговые потери на отложенных данных каждого прогона - run.val_loss[-1][1]). Затем заполните best_lr: ширина к скорости обучения с наименьшим средним.
Затем используйте правило шума из модуля 9, чтобы сказать, какие настройки действительно различаются. При трёх seed на каждую два средних по-настоящему различаются, только если разрыв больше примерно 2 × s × sqrt(2/3), где s - больший из разбросов по seed двух настроек (np.std трёх значений). Всё, что ближе, - ничья.
Присвойте ties: ширина к списку скоростей обучения, которые сыграли вничью с лучшей для этой ширины (включая лучшую).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.