Insegnare le preferenze (DPO)
Perché è importante I modelli di chat non vengono addestrati solo sul testo; vengono rifiniti sulle preferenze: di due risposte, quale è piaciuta di più alle persone. DPO (Rafailov et al. 2023) lo fa direttamente dalle coppie, con una sola loss e senza un modello di ricompensa separato. È anche facile esagerare.
La preferenza qui è uno stile che il modello base non usa mai: unire le parole con trattini bassi ("snake_case talk"). Ogni coppia ha un prompt di 20 caratteri dal testo delle lezioni, i veri 10 caratteri successivi (rifiutata) e gli stessi 10 con ogni spazio scritto come trattino basso (scelta).
La loss DPO per una coppia confronta quanto il modello rifinito rende più probabile la risposta scelta rispetto al modello di riferimento, con lo stesso confronto per quella rifiutata:
-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )
beta stabilisce quanto forte il modello rifinito viene tenuto vicino al riferimento. Due misure dopo: la quota di spazi tra parole scritti come trattini bassi su 60 prompt nuovi (lo stile), e la loss sull'inglese tenuto da parte contando solo le lettere, non gli spazi (il danno).
Parole e simboli di questa lezione
- LoRA
- low-rank adaptation: una matrice di pesi congelata più due sottili addestrabili, x W + (alpha / r) × A B
- rango (r)
- quanto sono sottili le due matrici di LoRA: (d_in + d_out) × r pesi addestrabili per matrice
- DPO
- direct preference optimisation: rifinire a partire da coppie di una risposta migliore e una peggiore
- modello di riferimento
- il modello congelato rispetto a cui DPO misura ogni cambiamento
- beta (DPO)
- quanto forte il modello rifinito viene tenuto vicino al riferimento
Scegli steps (al massimo 60) così che lo stile sia imparato (quota di trattini bassi almeno 0.8) mentre la loss sulle sole lettere resta sotto 2.6 (il modello base ottiene circa 1.94). Prova qualche valore.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.