Выбор метода в рамках бюджета
Почему это важно Каждый метод в этом модуле является правильным ответом на другой вопрос. Выбор по моде стоит денег; выбор по измерениям является работой.
Что вы измерили, в одном месте:
- Полное дообучение (200 шагов): код 2.19, английский 2.26. Обучает все 107,072 веса; новая копия модели для хранения.
- LoRA ранг 4: код 2.27, английский 2.04. Обучает 8,192; хранит только те.
- Distillation для студента с шириной 16 (3000 шагов): английский 1.98 примерно при 1/8 весов против 2.18 при обучении отдельно.
- Quantisation: 8 бит, четверть размера, без изменений; 4 бита, одна восьмая, +0.13.
Для каждой ситуации выберите метод, который подтверждают измерения.
Слова и символы в этом уроке
- fine-tuning
- продолжение обучения обученной модели на новых данных
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- rank (r)
- насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
- distillation
- обучение маленького студента копировать полные вероятности большого учителя
- temperature (distillation)
- деление баллов перед softmax так что вторые варианты учитываются больше
- quantisation
- хранение весов в меньшем количестве бит путем округления их до нескольких шагов
Заполните choice одним из вариантов "full fine-tune", "LoRA", "distillation" или "quantisation" для каждой ситуации.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.