Lehrplan Lektion 210 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

LoRA, gebaut

Warum das wichtig istEs einmal zu bauen macht drei Dinge offensichtlich: warum es anfangs harmlos ist, warum seine Gradienten günstig sind und warum die ursprünglichen Gewichte sich nie ändern.

A LoRA layer auf der House Engine: forward ist x W + (alpha / r) x A B, mit W gefroren. Die Engine berechnet die Gradienten für A und B selbst (deine Module 4 Engine würde das auch); W darf nur nicht aktualisiert werden, was du prüfst.

Wörter und Symbole in dieser Lektion
LoRA
low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
Du bist dran

Schreibe lora_forward(x, W, A, B, alpha) mit Engine-Operationen. Überprüfe dann auf der kleinen Schicht im Starter: der Output entspricht x W während B Null ist; nach einem Backward-Pass hat W keine Aktualisierung aber A oder B hat eine; und der Gradient von A entspricht dem Nudging. Setze max_gap auf die größte Differenz. Die Engine arbeitet in float32, also nutze ein Nudge von h = 1e-3 oder mehr: mit 1e-4 geht die Änderung im loss durch Rundung verloren und ein korrekter Gradient sieht falsch aus.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.