Программа курса Урок 207 из 246 · Модуль 19: Больше и насколько лучше (законы масштабирования)
Модуль 19: Больше и насколько лучше (законы масштабирования)

Контрольная задача: спланируйте прогон обучения (ИИ выключен)

Почему это важно Это решение, ради которого существуют законы масштабирования: у вас есть бюджет и одна попытка. Спланируйте по доказательствам.

Правила контрольной задачи: ИИ-наставник выключен. У вас 3 × 10^10 FLOP на один прогон символьной модели курса, на том же тексте, что и сетка. Выберите ширину (степень 2) и число токенов, которое тогда позволяет бюджет. Используйте записанную сетку как угодно: подгонки, таблицы, и то и другое.

Проверка предсказывает потери вашего выбора и лучшего возможного выбора двухпеременной подгонкой курса и проходит, когда ваши в пределах 0,02 от лучших и вы потратили бюджет (в пределах 1%).

Слова и символы этого урока
закон масштабирования
как падают потери с ростом весов, данных или вычислений, обычно степенной закон к нижней границе
токен
здесь - одно предсказание: один символ
FLOP (6 N D)
стоимость обучения: около 6 операций на вес на токен
Твоя очередь

Присвойте width и tokens.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.