Eine Methode unter einem Budget wählen
Warum das wichtig ist Jede Methode in diesem Modul ist die richtige Antwort auf eine andere Frage. Auswahl nach Mode verschwendet Geld; Auswahl nach Messungen ist der Job.
Was du gemessen hast, an einem Ort:
- Vollständiges Fine-tuning (200 Schritte): Code 2.19, Englisch 2.26. Trainiert alle 107.072 Gewichte; eine ganz neue Kopie des Modells zum Speichern.
- LoRA Rang 4: Code 2.27, Englisch 2.04. Trainiert 8.192; speichert nur diese.
- Distillation für einen 16-breiten Studenten (3000 steps): Englisch 1.98 bei etwa 1/8 der Gewichte, gegenüber 2.18 allein trainiert.
- Quantisation: 8 Bits, ein Viertel der Größe, keine Änderung; 4 Bits, ein Achtel, +0.13.
Wähle für jede Situation die Methode, die die Messungen unterstützen.
Wörter und Symbole in dieser Lektion
- fine-tuning
- ein trainiertes Modell mit neuen Daten weiter trainieren
- LoRA
- low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare welche, x W + (alpha / r) x A B
- rank (r)
- wie dünn die zwei Matrizen von LoRA sind: (d_in + d_out) x r trainierbare Gewichte pro Matrix
- distillation
- Training eines kleinen Schülers, um die vollen Wahrscheinlichkeiten eines großen Lehrers zu kopieren
- temperatur (Destillation)
- Teilen der Scores vor dem softmax, damit zweite Entscheidungen mehr zählen
- quantisation
- Speichern von Gewichten in weniger Bits durch Rundung auf wenige Schritte
Fülle choice mit einem von "full fine-tune", "LoRA", "distillation" oder "quantisation" für jede Situation.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.