Wie dünn ist genug? (rank)
Warum das wichtig ist Rank ist die einzige echte Einstellung von LoRA. Zu dünn und es kann die neue Aufgabe nicht lernen; ab einem gewissen Punkt bringt mehr Rank fast nichts. Wo dieser Punkt liegt, ist es wert vorher vorherzusagen, bevor man dafür bezahlt.
Der Kurs trainierte LoRA auf Code bei Ranks 1 bis 64 und Full Fine-Tuning, jeweils 3 Seeds, 200 steps (adapt.recorded()). Jede Zeile hat den Rank, die trainable weights, den code loss (neu) und den English loss (alt).
Tipp die Kurve
Bevor du sie liest, schätze den Code-Verlust bei den Rängen 1, 4, 16 und 64. Anker: vor dem Training 3.25; vollständiges Fine-Tuning etwa 2.19.
Wörter und Symbole in dieser Lektion
- fine-tuning
- ein trainiertes Modell mit neuen Daten weiter trainieren
- LoRA
- low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
- rank (r)
- wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
Fülle my_guess (vier Code-Verluste), dann by_rank: für die Ränge 1, 4, 16, 64 und "full" den mittleren Code-Verlust und den mittleren Englisch-Verlust über die 3 Seeds. Setze diminishing auf True, wenn der Übergang von Rang 16 zu 64 weniger als ein Viertel dessen bringt, was der Übergang von 1 zu 4 bringt.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.