Подгонка степенного закона с нижней границей
Почему это важно "Больше - лучше" бесполезно для планирования. "Потери падают как веса в степени -0,5, к нижней границе 1,6" позволяет назвать число для прогона, за который вы ещё не платили. Получить это число и понять, насколько вы в нём уверены, - и есть навык.
Форма, подходящая к большинству данных о масштабировании:
loss = E + A N^(-alpha)
N - число весов, alpha - показатель (как быстро идёт улучшение), а E - нижняя граница: потери, которые ни одна модель этого семейства не может превзойти на этих данных. Частично дело в непредсказуемости текста; частично - в собственном пределе семейства (эта модель видит только 8 символов назад). У другого семейства, скажем читающего дальше назад, нижняя граница ниже. Без нижней границы подгонка по маленьким моделям переоценивает, сколько выигрывают большие.
Как подогнать: для каждой кандидатной нижней границы E от 0 до чуть меньше наименьших потерь возьмите логарифмы, log(loss - E) = log A - alpha log N, это прямая, и подгоните её методом наименьших квадратов. Оставьте ту E, чья кривая даёт наименьшую квадратичную ошибку на самих потерях.
Доверительные интервалы: на каждый размер приходится 3 seed. Подгоняйте заново много раз, каждый раз случайно выбирая один seed для каждого размера (бутстрэп), и смотрите на разброс alpha. Посмотрите сцену: те же точки, подогнанная кривая с нижней границей и без неё и полоса бутстрэп-подгонок.
Слова и символы этого урока
- степенной закон
- y = A x^-alpha: прямая линия на осях log-log
- показатель (alpha, beta)
- как быстро падают потери с ростом числа весов (alpha) или данных (beta)
- нижняя граница (E)
- потери, которые ни одна модель не может превзойти на этих данных
- токен
- здесь - одно предсказание: один символ
- бутстрэп
- повторная подгонка на переотобранных данных, чтобы увидеть, насколько сдвинется подогнанное число
Напишите fit(N, loss), возвращающую (E, A, alpha), как описано (400 кандидатных нижних границ от 0 до 0,999 × наименьшие потери). Подгоните прогоны на 1,5 миллиона токенов (одно среднее на ширину) в main, затем выполните 100 бутстрэп-подгонок и присвойте interval 5-й и 95-й процентили alpha.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.