Программа курса Урок 203 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Веса, данные или вычисления: что сдерживает?

Почему это важно Тратить больше не на то ничего не даёт. Модель, голодающая по данным, не улучшается, если сделать её больше; крошечная модель не улучшается, если кормить её больше. Сетка показывает и то и другое, если знать, куда смотреть.

Посмотрите вдоль строки сетки (одна ширина, всё больше данных) и вниз по столбцу (один объём данных, всё более широкие модели).

Прогон ограничен данными, когда расширение модели почти не помогает (или вредит) при этом объёме данных. Он ограничен моделью, когда больше данных почти не помогает при этой ширине.

Слова и символы этого урока
токен
здесь - одно предсказание: один символ
ограничен данными, ограничен моделью
когда больше ширины или больше данных почти не помогает
Твоя очередь

Заполните gain_wider: для 8 000 токенов и для 1,5 миллиона токенов - падение потерь от ширины 256 до ширины 1024. Заполните gain_more_data: для ширины 2 и для ширины 1024 - падение потерь от 512 000 до 1,5 миллиона токенов. Затем присвойте verdict для двух углов: "data-limited" или "model-limited".

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.