Kurrikulum Leson 215 van 246 · Module 20: Aanpas van 'n getoë model goedkoop
Module 20: Aanpas van 'n getoë model goedkoop

Onderrigvoorkeure (DPO)

Waarom dit saak maak Chat-modelle word nie net op teks opgelei nie; hulle word aangepas volgens voorkeure: van twee antwoorde, watter een het mense verkies. DPO (Rafailov et al. 2023) doen dit direk vanaf pare, met een loss en geen aparte reward model nie. Dit is ook maklik om te oordos.

Die voorkeur hier is 'n styl wat die basismodel nooit gebruik nie: om woorde met onderstrepe te verbind ("snake_case praat"). Elke paar het 'n 20-karakter prompt uit die les-teks, die werklike volgende 10 karakters (verwerp) en dieselfde 10 met elke spasie as 'n onderstreep geskryf (verkies).

Die DPO-verlies vir een paar vergelyk hoeveel meer waarskynlik die aangepaste model die gekose antwoord kies teen die verwysmodel, teen dieselfde vir die verwerpte een:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta bepaal hoe styf die aangepaste model naby die verwysing gehou word. Twee maate daarna: die deel van woordgapings wat as onderstrekings op 60 nuwe prompts geskryf is (die styl), en die loss op gehou-uit Engels wat net letters tel, nie gapings nie (die skade).

Woorde en simbole in hierdie les
LoRA
low-rank aanpassing: 'n bevrore gewigmatriks plus twee dun aanpasbare \x W + (alpha / r) \x A B
rang (r)
hoe dun LoRA se twee matrices is: (d_in + d_out) x r trainbare gewigte per matrix
DPO
direkte voorkeuroptimisering: afstemming vanaf pare van 'n beter en 'n swakker antwoord
verwysmodel
die bevrore model DPO meet elke verandering teen
beta (DPO)
hoe hard die afgestemde model naby die verwysing gehou word
Jou beurt

Kies steps (maksimum 60) sodat die styl geleer word (underscore deel ten minste 0.8) terwyl die letters-only loss onder 2.6 bly (die base model skoor ongeveer 1.94). Probeer 'n paar waardes.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.