Программа курса Урок 205 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Предскажите более крупный прогон, затем посмотрите на него

Почему это важно Подгонка, которая лишь описывает имеющиеся прогоны, - это сводка. Подгонка, которая предсказывает прогон, которого у вас не было, - это закон, по крайней мере пока. Вот проверка.

Курс обучил ещё один размер после того, как сетка была готова: ширина 2048, около 375 000 весов, вдвое больше самой крупной в сетке, на полных 1,5 миллиона токенов, 3 seed. Вы ещё не видели её потерь.

Используйте степенной закон из урока 3 (одна ширина за раз, 1,5 миллиона токенов), чтобы их предсказать. Зафиксируйте число в коде, затем откройте записанный результат.

Слова и символы этого урока
степенной закон
y = A x^-alpha: прямая линия на осях log-log
токен
здесь - одно предсказание: один символ
Твоя очередь

Подгоните сетку на 1,5 миллиона токенов через scaling.fit_power_law, присвойте prediction для ширины 2048 (scaling.params_of(2048) весов), затем присвойте actual (среднее scaling.recorded_bigger()) и error. Сравните это со своей ошибкой "на глаз" из урока 1, присвоив better_than_my_gut.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.