Создание пар предпочтений DPO
Для supervised fine-tuning нужен один золотой ответ на каждый промпт. Preference tuning (DPO) требует чего-то другого и часто более простого для сбора: для того же промпта нужен chosen ответ и rejected ответ, и модель учится предпочитать первый. У вас редко есть такие пары напрямую, но очень часто есть rankings, когда человек (или модель-судья) упорядочивает несколько вариантов ответов от лучшего к худшему. Этот урок превращает рейтинги в парные данные, на которых на самом деле обучается DPO.
Правило простое: если кандидаты перечислены по убыванию, то для каждой пары, где один выше другого, выше стоящий это chosen, а ниже стоящий это rejected. Ранжированный список из n кандидатов дает n*(n-1)/2 пар предпочтений, каждая комбинация раньше-против-позже:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsСоздайте to_preference_pairs(prompt, ranked) возвращающий список из {"prompt", "chosen", "rejected"} словарей, по одному для каждой пары индексов i < j в ranked (так ranked[i] выбирается вместо ranked[j]), в этом порядке. Меньше двух кандидатов дает пустой список (нет предпочтения для выражения). Тот же prompt присутствует в каждой паре, чтобы тренер знал контекст. Нажмите Run, чтобы развернуть рейтинг в обучающие пары.
Напишите to_preference_pairs(prompt, ranked), где ranked это список кандидатов, упорядоченных по принципу best-first. Верните список {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} для каждого i < j (выбранные ранги выше отвергнутых) в порядке возрастания (i, j). Список с менее чем двумя кандидатами возвращает [].
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.