Lehrplan Lektion 215 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

Lernpräferenzen (DPO)

Warum das wichtig ist Chatmodelle werden nicht nur auf Text trainiert; sie werden auf Präferenzen abgestimmt: von zwei Antworten, welche den Menschen besser gefällt. DPO (Rafailov et al. 2023) macht das direkt aus Paaren, mit einem loss und ohne separates reward model. Es ist auch einfach, es zu übertreiben.

Die Präferenz hier ist ein Stil, den das Basismodell niemals verwendet: Wörter mit Unterstrichen verbinden ("snake_case talk"). Jedes Paar hat einen 20-Zeichen-Prompt aus dem Unterrichtstext, die echten nächsten 10 Zeichen (abgelehnt) und dieselben 10 mit jedem Leerzeichen als Unterstrich geschrieben (gewählt).

Der DPO loss für ein Paar vergleicht, wie viel wahrscheinlicher das abgestimmte Modell die gewählte Antwort gegenüber dem Referenzmodell macht, im Vergleich zum Gleichen für die abgelehnte Antwort:

-log sigmoid( beta x [ (log pi(chosen) - log ref(chosen)) - (log pi(rejected) - log ref(rejected)) ] )

beta legt fest, wie stark das abgestimmte Modell nahe am Referenzwert gehalten wird. Zwei Maße danach: der Anteil der Wortlücken, die als Unterstriche in 60 neuen Prompts geschrieben wurden (der Stil), und der loss auf gehaltenem Englisch, der nur Buchstaben zählt, keine Lücken (der Schaden).

Wörter und Symbole in dieser Lektion
LoRA
low-rank adaptation: eine eingefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
rank (r)
wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
DPO
direkte Präferenzoptimierung: Tuning aus Paaren einer besseren und einer schlechteren Antwort
Referenzmodell
das gefrorene Modell DPO misst jede Änderung gegen
beta (DPO)
wie hart das abgestimmte Modell nahe am Referenzwert gehalten wird
Du bist dran

Wähle steps (höchstens 60), damit der Stil gelernt wird (underscore share mindestens 0.8), während der letters-only loss unter 2.6 bleibt (das Basismodell erreicht etwa 1.94). Probiere ein paar Werte aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.