Программа курса Урок 201 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Ваши собственные маленькие прогоны, с ценой

Почему это важно Масштабирование - это утверждение о стоимости: насколько лучше на единицу вычислений. Поэтому каждому прогону нужен ценник, и ценник обучения на удивление прост.

Обучение стоит около 6 операций на вес на токен: 2 на прямой проход (одно умножение и одно сложение на каждый вес) и около 4 на обратный (градиенты для входов и для весов). Это правило учёта FLOP, которым вы пользуетесь со стартовой линии: scaling.flops(weights, tokens).

Здесь вы обучаете вживую три небольшие модели, каждую на 32 000 токенах текста курса, примерно в 7 раз разные по стоимости.

Слова и символы этого урока
токен
здесь - одно предсказание: один символ
FLOP (6 N D)
стоимость обучения: около 6 операций на вес на токен
Твоя очередь

Обучите ширины 4, 16 и 64 по 32 000 токенов каждую (scaling.train(model, 32_000) возвращает потери на отложенных данных). Заполните runs: для каждой ширины - веса, FLOP и потери. Затем присвойте cost_ratio: во сколько раз прогон ширины 64 стоил больше прогона ширины 4.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.