DPO-Präferenzpaare erstellen
Supervised fine-tuning benötigt eine gold answer pro prompt. Preference tuning (DPO) braucht etwas anderes und oft einfacher zu sammeln: für denselben prompt, eine chosen answer und eine rejected, und es lernt, die erste zu bevorzugen. Du hast diese Paare selten direkt, aber du hast sehr oft rankings, ein Mensch (oder ein judge model) ordnet mehrere candidate answers von best zu worst. Diese Lektion macht rankings zu den paarweisen Daten, auf denen DPO tatsächlich trainiert.
Die Regel ist einfach: Wenn Kandidaten best-first aufgelistet sind, dann ist für jedes Paar, bei dem einer über einem anderen steht, der höhere chosen und der niedrigere rejected. Eine gerankte Liste von n Kandidaten liefert n*(n-1)/2 Präferenzpaare, jede frühere-gegen-spätere Kombination:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsBaue to_preference_pairs(prompt, ranked) und gib eine Liste von {"prompt", "chosen", "rejected"} dicts zurück, eines für jedes Indexpaar i < j in ranked (also wird ranked[i] gegenüber ranked[j] gewählt), in dieser Reihenfolge. Weniger als zwei Kandidaten ergeben eine leere Liste (keine Präferenz zum Ausdrücken). Das gleiche prompt fährt auf jedem Paar mit, damit der Trainer den Kontext kennt. Drücke Run, um ein Ranking in Trainingspaare zu erweitern.
Schreib to_preference_pairs(prompt, ranked), wobei ranked eine Liste von Kandidatenantworten ist, die beste zuerst. Gib eine Liste von {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} für jedes i < j zurück (chosen steht über rejected), in aufsteigender Reihenfolge von (i, j). Eine Liste mit weniger als zwei Kandidaten gibt [] zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.