Kurrikulum Leson 202 van 250 · Fyn-afstemming, Konsepueel
Fyn-afstemming, Konsepueel

Bou van DPO-voorkeurpaaie

Supervised fine-tuning het een goue antwoord per prompt nodig. Preference tuning (DPO) het iets anders en dikwels makliker om te versamel: vir dieselfde prompt, 'n chosen antwoord en 'n rejected een, en dit leer om die eerste te verkies. Jy het daardie pare selde direk, maar jy het baie dikwels rankings, 'n mens (of 'n judge model) wat verskeie kandidaat-antwoorde van beste tot swakste rangskik. Hierdie les verander rankings in die pairwise data waarop DPO werklik lei.

Die reël is eenvoudig: as kandidate best-first gelys word, dan is die hoër een vir elke paar waar een bo 'n ander rangryk chosen en die laer een is rejected. 'n Geranggeveerde lys van n kandidate lewer n*(n-1)/2 voorkeurpare op, elke vroeëre-teen-later kombinasie:

ranked = ["great", "ok", "bad"]   # best to worst
# -> (great > ok), (great > bad), (ok > bad)   = 3 pairs

Bou to_preference_pairs(prompt, ranked) wat 'n lys van {"prompt", "chosen", "rejected"} dicts teruggee, een vir elke indekspaar i < j in ranked (so ranked[i] word bo ranked[j] gekies), in daardie volgorde. Minder as twee kandidate gee 'n leë lys (geen voorkeur om uit te druk). Dieselfde prompt ry op elke paar sodat die trainer die konteks ken. Druk Run om 'n rangskikking uit te brei na opleidingspaare.

Jou beurt

Skryf to_preference_pairs(prompt, ranked) waar ranked 'n lys van kandidaat-antwoorde is wat volgens beste-eere geordenê is. Gee 'n lys van {"prompt": prompt, "chosen": ranked[i], "rejected": ranked[j]} terug vir elke i < j (verkose rangs bo verwerpte), in toenemende (i, j) orde. 'n Lys met minder as twee kandidate gee [] terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.