Lehrplan Lektion 217 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

Gate: eine neue Aufgabe mit einem Budget (KI aus)

Warum das wichtig istEchte Anpassungsarbeit hat ein Ziel, ein Budget und etwas, das du nicht brechen darfst. Alle drei gleichzeitig, allein.

Gate-Regeln: KI aus. Passe das aufgezeichnete GPT an Python-Code an mit maximal 60 Trainingsschritten von jeweils 8 Fenstern. Ziele bei einem neuen Durchlauf (neuer Seed):

  • held-out code loss maximal 2.43 (der Basiswert ist 3.25);
  • held-out English loss maximal 2.00 (der Basiswert ist 1.70);

Set plan: method "full" oder "lora", den rank (für LoRA, 1 bis 64), die steps und die learning rate. Der Check trainiert deinen Plan einmal auf einem neuen seed.

Wörter und Symbole in dieser Lektion
LoRA
low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
rank (r)
wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
Du bist dran

Fülle plan.

KI aus: kein Tutor, keine Hinweise oder gelöste Lösung für diese Aufgabe. Nur dein eigenes Denken.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.