Предпочтения обучения (DPO)
Почему это важно Чат модели обучаются не только на тексте; они настраиваются на предпочтения: из двух ответов какой людям понравился больше. DPO (Rafailov et al. 2023) делает это напрямую из пар, с одной loss и без отдельной reward model. Это также легко переусердковать.
Предпочтение здесь отдается стилю, который базовая модель никогда не использует: соединение слов нижним подчеркиванием ("snake_case talk"). Каждая пара содержит 20-символьный prompt из текста урока, следующие 10 реальных символов (отклоненные) и те же 10 символов, где каждый пробел заменен на нижнее подчеркивание (выбранные).
Потери DPO для одной пары сравнивают, насколько чаще настроенная модель выбирает выбранный ответ по сравнению с эталонной моделью, относительно того же для отвергнутого ответа:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta определяет, насколько сильно настроенная модель удерживается рядом с эталоном. Два измерения после этого: доля пропусков слов, написанных как нижние подчеркивания в 60 новых промптах (стиль), и loss на отложенных английских данных, учитывающий только буквы, а не пропуски (ущерб).
Слова и символы в этом уроке
- LoRA
- low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
- rank (r)
- насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
- DPO
- прямая оптимизация предпочтений: настройка на основе пар лучшего и худшего ответа
- эталонная модель
- замороженная модель DPO измеряет каждое изменение относительно
- beta (DPO)
- насколько близко настроенная модель удерживается относительно эталона
Выберите steps (максимум 60), чтобы стиль был усвоен (underscore share не менее 0.8), в то время как letters-only loss остается ниже 2.6 (базовая модель показывает около 1.94). Попробуйте несколько значений.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.