Программа курса Урок 217 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

Gate: новая задача в рамках бюджета (ИИ выключен)

Почему это важно Настоящая работа по адаптации имеет цель, бюджет и то, что нельзя нарушать. Все три параметра одновременно и по отдельности.

Правила

Gate: ИИ выключен. Адаптируйте записанный GPT к коду Python максимум за 60 шагов обучения по 8 окон каждый. Цели на новом запуске (новое seed):

  • потеря на удержанном коде составляет максимум 2.43 (базовый уровень 3.25);
  • held-out English loss максимум 2.00 (базовый уровень 1.70);

Установите plan: метод "full" или "lora", ранг (для LoRA, от 1 до 64), шаги и скорость обучения. Проверка обучает ваш план один раз на новом сиде.

Слова и символы в этом уроке
LoRA
low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
rank (r)
насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
Твоя очередь

Заполните plan.

ИИ выключен: нет тьютора, подсказок или готового решения для этой задачи. Только ваши собственные мысли.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.