Ваши собственные маленькие прогоны, с ценой
Почему это важно Масштабирование - это утверждение о стоимости: насколько лучше на единицу вычислений. Поэтому каждому прогону нужен ценник, и ценник обучения на удивление прост.
Обучение стоит около 6 операций на вес на токен: 2 на прямой проход (одно умножение и одно сложение на каждый вес) и около 4 на обратный (градиенты для входов и для весов). Это правило учёта FLOP, которым вы пользуетесь со стартовой линии: scaling.flops(weights, tokens).
Здесь вы обучаете вживую три небольшие модели, каждую на 32 000 токенах текста курса, примерно в 7 раз разные по стоимости.
Слова и символы этого урока
- токен
- здесь - одно предсказание: один символ
- FLOP (6 N D)
- стоимость обучения: около 6 операций на вес на токен
Обучите ширины 4, 16 и 64 по 32 000 токенов каждую (scaling.train(model, 32_000) возвращает потери на отложенных данных). Заполните runs: для каждой ширины - веса, FLOP и потери. Затем присвойте cost_ratio: во сколько раз прогон ширины 64 стоил больше прогона ширины 4.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.