Программа курса Урок 202 из 250 · Тонкая настройка, концептуально
Тонкая настройка, концептуально

Создание пар предпочтений DPO

Для supervised fine-tuning нужен один золотой ответ на каждый промпт. Preference tuning (DPO) требует чего-то другого и часто более простого для сбора: для того же промпта нужен chosen ответ и rejected ответ, и модель учится предпочитать первый. У вас редко есть такие пары напрямую, но очень часто есть rankings, когда человек (или модель-судья) упорядочивает несколько вариантов ответов от лучшего к худшему. Этот урок превращает рейтинги в парные данные, на которых на самом деле обучается DPO.

Правило простое: если кандидаты перечислены по убыванию, то для каждой пары, где один выше другого, выше стоящий это chosen, а ниже стоящий это rejected. Ранжированный список из n кандидатов дает n*(n-1)/2 пар предпочтений, каждая комбинация раньше-против-позже:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Создайте to_preference_pairs(prompt, ranked) возвращающий список из {"prompt", "chosen", "rejected"} словарей, по одному для каждой пары индексов i < j в ranked (так ranked[i] выбирается вместо ranked[j]), в этом порядке. Меньше двух кандидатов дает пустой список (нет предпочтения для выражения). Тот же prompt присутствует в каждой паре, чтобы тренер знал контекст. Нажмите Run, чтобы развернуть рейтинг в обучающие пары.

Твоя очередь

Напишите to_preference_pairs(prompt, ranked), где ranked это список кандидатов, упорядоченных по принципу best-first. Верните список {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} для каждого i < j (выбранные ранги выше отвергнутых) в порядке возрастания (i, j). Список с менее чем двумя кандидатами возвращает [].

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.