Programma Les 202 van 250 · Fine-Tuning, Conceptueel
Fine-Tuning, Conceptueel

DPO voorkeurparen bouwen

Supervised fine-tuning heeft één gouden antwoord per prompt nodig. Preference tuning (DPO) heeft iets anders en vaak makkelijker te verzamelen nodig: voor dezelfde prompt een chosen antwoord en een rejected antwoord, en het leert het eerste te verkiezen. Je hebt die paren zelden direct, maar je hebt heel vaak rankings, een mens (of een judge model) dat verschillende kandidaat antwoorden van best naar slecht ordert. Deze les zet rankings om naar de pairwise data waarop DPO echt traint.

De regel is simpel: als kandidaten best-first worden opgelijst, dan is voor elk paar waarbij de een hoger staat dan de ander, de hogere chosen en de lagere rejected. Een gerangschikte lijst van n kandidaten levert n*(n-1)/2 voorkeursparen op, elke eerdere-vs-latere combinatie:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Bouw to_preference_pairs(prompt, ranked) die een lijst van {"prompt", "chosen", "rejected"} dicts teruggeeft, één voor elke indexpaar i < j in ranked (dus ranked[i] wordt gekozen boven ranked[j]), in die volgorde. Minder dan twee kandidaten geeft een lege lijst (geen voorkeur om uit te drukken). Dezelfde prompt rijdt op elk paar zodat de trainer de context kent. Druk Run in om een ranking uit te breiden naar trainingsparen.

Jij bent aan de beurt

Schrijf to_preference_pairs(prompt, ranked) waar ranked een lijst van kandidaat antwoorden is gesorteerd van best naar slechtst. Geef een lijst met {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} terug voor elke i < j (gekozen rangs boven afgewezen), in oplopende (i, j) volgorde. Een lijst met minder dan twee kandidaten geeft [] terug.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.