Программа курса Урок 154 из 246 · Модуль 13: Внимание и трансформеры
Модуль 13: Внимание и трансформеры

Широким моделям нужны шаги поменьше

Почему это важно Скорость обучения, которая работает для маленькой модели, может погубить модель побольше. Команды, обучающие большие модели, тратят настоящие деньги, чтобы это выяснить; вы можете прочитать это по записанным прогонам.

Записанный эксперимент gpt-width-lr обучал крошечный GPT на ширинах 32, 64 и 128, каждую со скоростями обучения 0,001, 0,003 и 0,01, в течение 2 000 шагов, по три seed на каждую, и в конце измерял потери на отложенном тексте.

Предскажите, прежде чем смотреть: какая скорость обучения лучшая для самой широкой модели, 128?

Слова и символы этого урока
query, key, value
что ищет позиция; что каждая позиция предлагает для сопоставления; что она отдаёт
Твоя очередь

Присвойте my_guess одно из 0.001, 0.003 или 0.01, затем заполните mean_loss: (width, lr) к средним итоговым потерям на отложенных данных по трём seed (exp.seeds(d=..., lr=...) даёт три прогона; итоговые потери на отложенных данных каждого прогона - run.val_loss[-1][1]). Затем заполните best_lr: ширина к скорости обучения с наименьшим средним.

Затем используйте правило шума из модуля 9, чтобы сказать, какие настройки действительно различаются. При трёх seed на каждую два средних по-настоящему различаются, только если разрыв больше примерно 2 × s × sqrt(2/3), где s - больший из разбросов по seed двух настроек (np.std трёх значений). Всё, что ближе, - ничья.

Присвойте ties: ширина к списку скоростей обучения, которые сыграли вничью с лучшей для этой ширины (включая лучшую).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.