Лучшее использование фиксированного бюджета
Почему это важно При фиксированном бюджете вычислений C более крупная модель видит меньше токенов (C = 6 N D). Слишком большая - голодает; слишком маленькая - заполняется раньше, чем кончится бюджет. В 2022 году этот расчёт (статья "Chinchilla") показал, что большинство больших моделей того времени были слишком велики для данных, на которых их обучали.
Подгоните оба эффекта сразу:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d подгоняет это ко всем 150 прогонам. Затем для бюджета C каждая ширина N задаёт D = C / (6 N), и формула предсказывает потери: выберите ширину с наименьшим предсказанием. scaling.params_of(width) даёт веса ширины.
Где сейчас эта область Hoffmann et al. (2022, "Chinchilla") подогнали ту же двухпеременную форму к большим языковым моделям и нашли оптимальное по вычислениям разделение около 20 обучающих токенов на вес. Сейчас лаборатории часто обучают далеко за этой точкой (гораздо больше токенов для меньшей модели), потому что меньшая модель дешевле при каждом ответе: оптимум по вычислениям для обучения - не оптимум для использования. А когда они делают модель шире, то перемасштабируют её начальные веса и послойные скорости обучения (muP, Yang et al. 2022), чтобы лучшая скорость обучения, найденная на маленькой модели, всё ещё работала на большой: ту самую проблему измерил урок "Широким моделям нужны шаги поменьше" в модуле 13.
Слова и символы этого урока
- показатель (alpha, beta)
- как быстро падают потери с ростом числа весов (alpha) или данных (beta)
- токен
- здесь - одно предсказание: один символ
- FLOP (6 N D)
- стоимость обучения: около 6 операций на вес на токен
- оптимальное по вычислениям
- разделение фиксированного бюджета между размером модели и данными, дающее наименьшие потери
Подгоните сетку в f. Напишите plan(f, budget), возвращающую ширину (степень 2 от 2 до 4096) с наименьшими предсказанными потерями. Заполните choice для бюджетов 1e9, 1e10 и 1e11 FLOP.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.