Bou van DPO-voorkeurpaaie
Supervised fine-tuning het een goue antwoord per prompt nodig. Preference tuning (DPO) het iets anders en dikwels makliker om te versamel: vir dieselfde prompt, 'n chosen antwoord en 'n rejected een, en dit leer om die eerste te verkies. Jy het daardie pare selde direk, maar jy het baie dikwels rankings, 'n mens (of 'n judge model) wat verskeie kandidaat-antwoorde van beste tot swakste rangskik. Hierdie les verander rankings in die pairwise data waarop DPO werklik lei.
Die reël is eenvoudig: as kandidate best-first gelys word, dan is die hoër een vir elke paar waar een bo 'n ander rangryk chosen en die laer een is rejected. 'n Geranggeveerde lys van n kandidate lewer n*(n-1)/2 voorkeurpare op, elke vroeëre-teen-later kombinasie:
ranked = ["great", "ok", "bad"] # best to worst
# -> (great > ok), (great > bad), (ok > bad) = 3 pairsBou to_preference_pairs(prompt, ranked) wat 'n lys van {"prompt", "chosen", "rejected"} dicts teruggee, een vir elke indekspaar i < j in ranked (so ranked[i] word bo ranked[j] gekies), in daardie volgorde. Minder as twee kandidate gee 'n leë lys (geen voorkeur om uit te druk). Dieselfde prompt ry op elke paar sodat die trainer die konteks ken. Druk Run om 'n rangskikking uit te brei na opleidingspaare.
Skryf to_preference_pairs(prompt, ranked) waar ranked 'n lys van kandidaat-antwoorde is wat volgens beste-eere geordenê is. Gee 'n lys van {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} terug vir elke i < j (verkose rangs bo verwerpte), in toenemende (i, j) orde. 'n Lys met minder as twee kandidate gee [] terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.