Контрольная задача: спланируйте прогон обучения (ИИ выключен)
Почему это важно Это решение, ради которого существуют законы масштабирования: у вас есть бюджет и одна попытка. Спланируйте по доказательствам.
Правила контрольной задачи: ИИ-наставник выключен. У вас 3 × 10^10 FLOP на один прогон символьной модели курса, на том же тексте, что и сетка. Выберите ширину (степень 2) и число токенов, которое тогда позволяет бюджет. Используйте записанную сетку как угодно: подгонки, таблицы, и то и другое.
Проверка предсказывает потери вашего выбора и лучшего возможного выбора двухпеременной подгонкой курса и проходит, когда ваши в пределах 0,02 от лучших и вы потратили бюджет (в пределах 1%).
Слова и символы этого урока
- закон масштабирования
- как падают потери с ростом весов, данных или вычислений, обычно степенной закон к нижней границе
- токен
- здесь - одно предсказание: один символ
- FLOP (6 N D)
- стоимость обучения: около 6 операций на вес на токен
Присвойте width и tokens.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.