Leren van voorkeuren (DPO)
Waarom dit ertoe doet Chatmodellen worden niet alleen getraind op tekst; ze worden afgestemd op voorkeuren: van twee antwoorden, welke mensen beter leuk vonden. DPO (Rafailov et al. 2023) doet dit direct vanuit paren, met één loss en geen apart reward model. Het is ook makkelijk om te veel te doen.
De voorkeur hier is een stijl die het basismodel nooit gebruikt: woorden verbinden met underscores ("snake_case talk"). Elke paar heeft een prompt van 20 tekens uit de lestekst, de echte volgende 10 tekens (afgewezen) en dezelfde 10 met elke spatie geschreven als een underscore (gekozen).
De DPO loss voor één paar vergelijkt hoeveel waarschijnlijker het getunede model het gekozen antwoord maakt vergeleken met het referentiemodel, tegenover hetzelfde voor het afgewezen antwoord:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta bepaalt hoe dicht het getunede model bij de referentie wordt gehouden. Twee maten daarna: het aandeel woordgaten geschreven als underscores op 60 nieuwe prompts (de stijl), en de loss op de vastgehouden Engelse tekst waarbij alleen letters worden geteld, geen gaten (de schade).
Woorden en symbolen in deze les
- LoRA
- low-rank adaptation: een bevroren gewichtsmatrix plus twee dunne trainbare matrices, x W + (alpha / r) x A B
- rank (r)
- hoe dun de twee matrices van LoRA zijn: (d_in + d_out) x r trainbare weights per matrix
- DPO
- directe voorkeursoptimalisatie: afstemming vanuit paren van een beter en een slechter antwoord
- referentiemodel
- het bevroren model DPO meet elke verandering af tegen
- beta (DPO)
- hoe hard het getunede model dicht bij de referentie wordt gehouden
Kies steps (maximaal 60) zodat de stijl wordt geleerd (underscore share minstens 0.8) terwijl de letters-only loss onder 2.6 blijft (het basismodel scoort ongeveer 1.94). Probeer een paar waarden.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.