Программа курса Урок 202 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Подгонка степенного закона с нижней границей

Почему это важно "Больше - лучше" бесполезно для планирования. "Потери падают как веса в степени -0,5, к нижней границе 1,6" позволяет назвать число для прогона, за который вы ещё не платили. Получить это число и понять, насколько вы в нём уверены, - и есть навык.

Форма, подходящая к большинству данных о масштабировании:

loss = E + A N^(-alpha)

N - число весов, alpha - показатель (как быстро идёт улучшение), а E - нижняя граница: потери, которые ни одна модель этого семейства не может превзойти на этих данных. Частично дело в непредсказуемости текста; частично - в собственном пределе семейства (эта модель видит только 8 символов назад). У другого семейства, скажем читающего дальше назад, нижняя граница ниже. Без нижней границы подгонка по маленьким моделям переоценивает, сколько выигрывают большие.

Как подогнать: для каждой кандидатной нижней границы E от 0 до чуть меньше наименьших потерь возьмите логарифмы, log(loss - E) = log A - alpha log N, это прямая, и подгоните её методом наименьших квадратов. Оставьте ту E, чья кривая даёт наименьшую квадратичную ошибку на самих потерях.

Доверительные интервалы: на каждый размер приходится 3 seed. Подгоняйте заново много раз, каждый раз случайно выбирая один seed для каждого размера (бутстрэп), и смотрите на разброс alpha. Посмотрите сцену: те же точки, подогнанная кривая с нижней границей и без неё и полоса бутстрэп-подгонок.

Слова и символы этого урока
степенной закон
y = A x^-alpha: прямая линия на осях log-log
показатель (alpha, beta)
как быстро падают потери с ростом числа весов (alpha) или данных (beta)
нижняя граница (E)
потери, которые ни одна модель не может превзойти на этих данных
токен
здесь - одно предсказание: один символ
бутстрэп
повторная подгонка на переотобранных данных, чтобы увидеть, насколько сдвинется подогнанное число
Твоя очередь

Напишите fit(N, loss), возвращающую (E, A, alpha), как описано (400 кандидатных нижних границ от 0 до 0,999 × наименьшие потери). Подгоните прогоны на 1,5 миллиона токенов (одно среднее на ширину) в main, затем выполните 100 бутстрэп-подгонок и присвойте interval 5-й и 95-й процентили alpha.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.