Веса, данные или вычисления: что сдерживает?
Почему это важно Тратить больше не на то ничего не даёт. Модель, голодающая по данным, не улучшается, если сделать её больше; крошечная модель не улучшается, если кормить её больше. Сетка показывает и то и другое, если знать, куда смотреть.
Посмотрите вдоль строки сетки (одна ширина, всё больше данных) и вниз по столбцу (один объём данных, всё более широкие модели).
Прогон ограничен данными, когда расширение модели почти не помогает (или вредит) при этом объёме данных. Он ограничен моделью, когда больше данных почти не помогает при этой ширине.
Слова и символы этого урока
- токен
- здесь - одно предсказание: один символ
- ограничен данными, ограничен моделью
- когда больше ширины или больше данных почти не помогает
Заполните gain_wider: для 8 000 токенов и для 1,5 миллиона токенов - падение потерь от ширины 256 до ширины 1024. Заполните gain_more_data: для ширины 2 и для ширины 1024 - падение потерь от 512 000 до 1,5 миллиона токенов. Затем присвойте verdict для двух углов: "data-limited" или "model-limited".
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.