Onderrigvoorkeure (DPO)
Waarom dit saak maak Chat-modelle word nie net op teks opgelei nie; hulle word aangepas volgens voorkeure: van twee antwoorde, watter een het mense verkies. DPO (Rafailov et al. 2023) doen dit direk vanaf pare, met een loss en geen aparte reward model nie. Dit is ook maklik om te oordos.
Die voorkeur hier is 'n styl wat die basismodel nooit gebruik nie: om woorde met onderstrepe te verbind ("snake_case praat"). Elke paar het 'n 20-karakter prompt uit die les-teks, die werklike volgende 10 karakters (verwerp) en dieselfde 10 met elke spasie as 'n onderstreep geskryf (verkies).
Die DPO-verlies vir een paar vergelyk hoeveel meer waarskynlik die aangepaste model die gekose antwoord kies teen die verwysmodel, teen dieselfde vir die verwerpte een:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta bepaal hoe styf die aangepaste model naby die verwysing gehou word. Twee maate daarna: die deel van woordgapings wat as onderstrekings op 60 nuwe prompts geskryf is (die styl), en die loss op gehou-uit Engels wat net letters tel, nie gapings nie (die skade).
Woorde en simbole in hierdie les
- LoRA
- low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
- rang (r)
- hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
- DPO
- direkte voorkeuroptimisering: afstemming vanaf pare van 'n beter en 'n swakker antwoord
- verwysmodel
- die bevrore model DPO meet elke verandering teen
- beta (DPO)
- hoe hard die afgestemde model naby die verwysing gehou word
Kies steps (maksimum 60) sodat die styl geleer word (underscore deel ten minste 0.8) terwyl die letters-only loss onder 2.6 bly (die base model skoor ongeveer 1.94). Probeer 'n paar waardes.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.