Lehrplan Lektion 153 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Trainiere ein winziges GPT, live

Warum das wichtig ist Alles kommt zusammen: Embeddings, Positionen, maskierte Multi-Head-Attention, Residuen und Layer Norms, trainiert mit Adam auf die Vorhersage des nächsten Zeichens. Auf deiner eigenen CPU, in Sekunden.

Breite 32, 2 Blöcke, 4 Heads, 32 Zeichen Kontext: etwa 29.000 Parameter. 150 Schritte mit je 16 Schnipseln, ein paar Sekunden auf einem Laptop. Tipp die Kurve: den Verlust am Anfang und nach 150 Schritten. (Gleichverteiltes Raten über 95 Zeichen ist ln 95 = 4.55.)

Dann zieh Stichproben daraus. Nach 150 Schritten macht es Buchstabensuppe mit Leerzeichen ungefähr an den richtigen Stellen; das aufgezeichnete Modell der Breite 64, 2.000 Schritte trainiert, schreibt Text in Wortform. Derselbe Code, mehr Rechenleistung.

Wörter und Symbole in dieser Lektion
Attention
Softmax der Query-Key-Punktzahlen, benutzt, um die Values zu mitteln
Head
eine von H schmaleren Attentions, die nebeneinander laufen, jede mit ihrem eigenen Muster
Layer Norm
jeden Vektor für sich normieren: Mittelwert 0, Streuung 1, dann mal g plus b
Du bist dran

Fülle my_guess, dann trainiere mit model.train (150 Schritte, Lernrate 0.003, Batch 16) auf corpus.TEXT und behalte den Verlauf in hist. Der Aufruf ist hist = model.train(text, steps=..., lr=..., batch=...); er gibt ein Dictionary zurück, dessen hist['loss'] der alle 20 Schritte (und beim letzten Schritt) protokollierte Trainingsverlust ist, und model.generate(prompt, n, temperature) schreibt danach Text. (help(model.train) gibt das auch aus.) Der Durchschnitt der letzten 5 protokollierten Verluste muss unter 2.85 liegen.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.