Feineinstelle das GPT auf deinen eigenen Text
Warum das wichtig ist Das ist der tägliche Gebrauch: ein allgemeines Modell, dein Text, ein billiger Adapter. Der Test ist, ob es deinen Text gelernt und den Rest behalten hat.
Füge deinen eigenen Text in my_text ein: Notizen, einen Aufsatz, Code, den du geschrieben hast, mindestens 5.000 Zeichen (der Standard ist ein Ausschnitt der Python-Lösungen, damit die Lektion wie vorgegeben läuft). Zeichen, die das Modell noch nie gesehen hat, werden verworfen. Die letzten 20 % werden beiseite gelegt, um sie zu testen.
Trainiere LoRA, rank 8, für 60 steps von 8 windows. Besteh, wenn der zurückgehaltene Teil deines Textes mindestens 0.3 besser abschneidet als das base model und der English loss um weniger als 0.5 stieg. Für die Skalierung: auf dem Standardtext erhöht LoRA English um etwa 0.29, full fine-tuning um etwa 0.69, und beide lernen den Text etwa gleich gut.
Wörter und Symbole in dieser Lektion
- fine-tuning
- ein trainiertes Modell mit neuen Daten weiter trainieren
- LoRA
- low-rank adaptation: eine eingefrorene Gewichtungsmatrix plus zwei dünne trainierbare welche, x W + (alpha / r) x A B
- rank (r)
- wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
Fülle base_scores und tuned_scores: (Englischer Verlust, Verlust auf den zurückgehaltenen 20% deines Textes) vor und nach dem Training des LoRA Modells.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.