Предскажите более крупный прогон, затем посмотрите на него
Почему это важно Подгонка, которая лишь описывает имеющиеся прогоны, - это сводка. Подгонка, которая предсказывает прогон, которого у вас не было, - это закон, по крайней мере пока. Вот проверка.
Курс обучил ещё один размер после того, как сетка была готова: ширина 2048, около 375 000 весов, вдвое больше самой крупной в сетке, на полных 1,5 миллиона токенов, 3 seed. Вы ещё не видели её потерь.
Используйте степенной закон из урока 3 (одна ширина за раз, 1,5 миллиона токенов), чтобы их предсказать. Зафиксируйте число в коде, затем откройте записанный результат.
Слова и символы этого урока
- степенной закон
- y = A x^-alpha: прямая линия на осях log-log
- токен
- здесь - одно предсказание: один символ
Подгоните сетку на 1,5 миллиона токенов через scaling.fit_power_law, присвойте prediction для ширины 2048 (scaling.params_of(2048) весов), затем присвойте actual (среднее scaling.recorded_bigger()) и error. Сравните это со своей ошибкой "на глаз" из урока 1, присвоив better_than_my_gut.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.