Gate: новая задача в рамках бюджета (ИИ выключен)
Почему это важно Настоящая работа по адаптации имеет цель, бюджет и то, что нельзя нарушать. Все три параметра одновременно и по отдельности.
Gate: ИИ выключен. Адаптируйте записанный GPT к коду Python максимум за 60 шагов обучения по 8 окон каждый. Цели на новом запуске (новое seed):
- потеря на удержанном коде составляет максимум 2.43 (базовый уровень 3.25);
- held-out English loss максимум 2.00 (базовый уровень 1.70);
Установите plan: метод "full" или "lora", ранг (для LoRA, от 1 до 64), шаги и скорость обучения. Проверка обучает ваш план один раз на новом сиде.
Слова и символы в этом уроке
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- rank (r)
- насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
Заполните plan.
ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.