Programme Leçon 202 sur 250 · Le fine-tuning, en concepts
Le fine-tuning, en concepts

Construire des paires de préférences pour DPO

Le fine-tuning supervisé a besoin d'une réponse de référence par prompt. L'ajustement par préférences (DPO) a besoin d'autre chose, souvent plus facile à collecter : pour un même prompt, une réponse choisie et une réponse rejetée, et il apprend à préférer la première. Tu as rarement ces paires directement, mais tu as très souvent des classements : un humain (ou un modèle juge) qui ordonne plusieurs réponses candidates de la meilleure à la pire. Cette leçon transforme des classements en données par paires, celles sur lesquelles DPO s'entraîne vraiment.

La règle est simple : si les candidates sont listées de la meilleure à la pire, alors pour chaque paire où l'une est classée au-dessus de l'autre, la mieux classée est chosen et l'autre rejected. Une liste classée de n candidates donne n*(n-1)/2 paires de préférences, toutes les combinaisons d'une plus tôt contre une plus tard :

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Construis to_preference_pairs(prompt, ranked) qui renvoie une liste de dicts {"prompt", "chosen", "rejected"}, un pour chaque paire d'indices i < j dans ranked (donc ranked[i] est choisie plutôt que ranked[j]), dans cet ordre. Moins de deux candidates donne une liste vide (aucune préférence à exprimer). Le même prompt accompagne chaque paire pour que l'entraîneur connaisse le contexte. Appuie sur Run pour développer un classement en paires d'entraînement.

À ton tour

Écris to_preference_pairs(prompt, ranked), où ranked est une liste de réponses candidates ordonnée de la meilleure à la pire. Renvoie une liste de {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} pour chaque i < j (la choisie est classée au-dessus de la rejetée), dans l'ordre croissant de (i, j). Une liste de moins de deux candidates renvoie [].

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.