Construire des paires de préférences pour DPO
Le fine-tuning supervisé a besoin d'une réponse de référence par prompt. L'ajustement par préférences (DPO) a besoin d'autre chose, souvent plus facile à collecter : pour un même prompt, une réponse choisie et une réponse rejetée, et il apprend à préférer la première. Tu as rarement ces paires directement, mais tu as très souvent des classements : un humain (ou un modèle juge) qui ordonne plusieurs réponses candidates de la meilleure à la pire. Cette leçon transforme des classements en données par paires, celles sur lesquelles DPO s'entraîne vraiment.
La règle est simple : si les candidates sont listées de la meilleure à la pire, alors pour chaque paire où l'une est classée au-dessus de l'autre, la mieux classée est chosen et l'autre rejected. Une liste classée de n candidates donne n*(n-1)/2 paires de préférences, toutes les combinaisons d'une plus tôt contre une plus tard :
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsConstruis to_preference_pairs(prompt, ranked) qui renvoie une liste de dicts {"prompt", "chosen", "rejected"}, un pour chaque paire d'indices i < j dans ranked (donc ranked[i] est choisie plutôt que ranked[j]), dans cet ordre. Moins de deux candidates donne une liste vide (aucune préférence à exprimer). Le même prompt accompagne chaque paire pour que l'entraîneur connaisse le contexte. Appuie sur Run pour développer un classement en paires d'entraînement.
Écris to_preference_pairs(prompt, ranked), où ranked est une liste de réponses candidates ordonnée de la meilleure à la pire. Renvoie une liste de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} pour chaque i < j (la choisie est classée au-dessus de la rejetée), dans l'ordre croissant de (i, j). Une liste de moins de deux candidates renvoie [].
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.