Programma Les 215 van 246 · Module 20: Een getraind model goedkoop aanpassen
Module 20: Een getraind model goedkoop aanpassen

Leren van voorkeuren (DPO)

Waarom dit ertoe doet Chatmodellen worden niet alleen getraind op tekst; ze worden afgestemd op voorkeuren: van twee antwoorden, welke mensen beter leuk vonden. DPO (Rafailov et al. 2023) doet dit direct vanuit paren, met één loss en geen apart reward model. Het is ook makkelijk om te veel te doen.

De voorkeur hier is een stijl die het basismodel nooit gebruikt: woorden verbinden met underscores ("snake_case talk"). Elke paar heeft een prompt van 20 tekens uit de lestekst, de echte volgende 10 tekens (afgewezen) en dezelfde 10 met elke spatie geschreven als een underscore (gekozen).

De DPO loss voor één paar vergelijkt hoeveel waarschijnlijker het getunede model het gekozen antwoord maakt vergeleken met het referentiemodel, tegenover hetzelfde voor het afgewezen antwoord:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta bepaalt hoe dicht het getunede model bij de referentie wordt gehouden. Twee maten daarna: het aandeel woordgaten geschreven als underscores op 60 nieuwe prompts (de stijl), en de loss op de vastgehouden Engelse tekst waarbij alleen letters worden geteld, geen gaten (de schade).

Woorden en symbolen in deze les
LoRA
low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
rank (r)
hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
DPO
directe voorkeursoptimalisatie: afstemming vanuit paren van een beter en een slechter antwoord
referentiemodel
het bevroren model DPO meet elke verandering af tegen
beta (DPO)
hoe hard het getunede model dicht bij de referentie wordt gehouden
Jij bent aan de beurt

Kies steps (maximaal 60) zodat de stijl wordt geleerd (underscore share minstens 0.8) terwijl de letters-only loss onder 2.6 blijft (het basismodel scoort ongeveer 1.94). Probeer een paar waarden.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.