Lehrplan Lektion 213 von 246 · Modul 20: Ein trainiertes Modell kostengünstig anpassen
Modul 20: Ein trainiertes Modell kostengünstig anpassen

Ein großer Lehrer, ein kleiner Schüler (Distillation)

Warum das wichtig istKleine Modelle sind günstig zu betreiben. Distillation (Hinton, Vinyals and Dean, 2015) trainiert ein kleines Modell, um die vollständigen Antworten eines großen Modells zu kopieren, nicht nur die richtige Antwort: "wahrscheinlich e, vielleicht a, sicherlich nicht z". Diese weichen Antworten tragen mehr Informationen pro Beispiel als der Text allein.

Der Schüler: ein 16-breites GPT (etwa 8.000 Gewichte). Der Lehrer: das 64-breite GPT. Der loss mischt zwei Teile: die Hälfte gewöhnliche cross-entropy mit dem Text, die Hälfte cross-entropy mit den Wahrscheinlichkeiten des Lehrers, beide abgemildert durch eine temperature von 2, damit die zweiten Entscheidungen des Lehrers zählen.

Der Kurs hat den Studenten auf beide Arten trainiert, mit 3 seeds, und den gehaltenen English loss bei 300, 1000 und 3000 steps aufgezeichnet.

Vorhersage zuerst: Schlägt der unterrichtete Schüler bei 300 steps denjenigen, der alleine trainiert wurde? Und bei 3000?

Wörter und Symbole in dieser Lektion
LoRA
low-rank adaptation: eine gefrorene Gewichtungsmatrix plus zwei dünne trainierbare Matrizen, x W + (alpha / r) x A B
distillation
Training eines kleinen Schülers zum Kopieren der vollen Wahrscheinlichkeiten eines großen Lehrers
temperatur (Destillation)
Teilung der Scores vor dem softmax, damit zweite Entscheidungen mehr zählen
Du bist dran

Setz guess für 300 und 3000 Schritte auf "taught wins", "alone wins" oder "no clear difference". Fülle dann gap: für jeden der Werte 300, 1000 und 3000 Schritte den Mittelwert von alone minus den Mittelwert von taught (positiv heißt, die Destillation hat geholfen), und setz daraus verdict nach der Regel: Eine Lücke unter 0.03 in beide Richtungen ist kein klarer Unterschied.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.