Программа курса Урок 215 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

Предпочтения обучения (DPO)

Почему это важно Чат модели обучаются не только на тексте; они настраиваются на предпочтения: из двух ответов какой людям понравился больше. DPO (Rafailov et al. 2023) делает это напрямую из пар, с одной loss и без отдельной reward model. Это также легко переусердковать.

Предпочтение здесь отдается стилю, который базовая модель никогда не использует: соединение слов нижним подчеркиванием ("snake_case talk"). Каждая пара содержит 20-символьный prompt из текста урока, следующие 10 реальных символов (отклоненные) и те же 10 символов, где каждый пробел заменен на нижнее подчеркивание (выбранные).

Потери DPO для одной пары сравнивают, насколько чаще настроенная модель выбирает выбранный ответ по сравнению с эталонной моделью, относительно того же для отвергнутого ответа:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta определяет, насколько сильно настроенная модель удерживается рядом с эталоном. Два измерения после этого: доля пропусков слов, написанных как нижние подчеркивания в 60 новых промптах (стиль), и loss на отложенных английских данных, учитывающий только буквы, а не пропуски (ущерб).

Слова и символы в этом уроке
LoRA
low-rank adaptation: замороженная матрица весов плюс две тонкие обучаемые матрицы, x W + (alpha / r) x A B
rank (r)
насколько тонкими являются две матрицы LoRA: (d_in + d_out) x r обучаемых весов на матрицу
DPO
прямая оптимизация предпочтений: настройка на основе пар лучшего и худшего ответа
эталонная модель
замороженная модель DPO измеряет каждое изменение относительно
beta (DPO)
насколько близко настроенная модель удерживается относительно эталона
Твоя очередь

Выберите steps (максимум 60), чтобы стиль был усвоен (underscore share не менее 0.8), в то время как letters-only loss остается ниже 2.6 (базовая модель показывает около 1.94). Попробуйте несколько значений.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.