Trainiere ein winziges GPT, live
Warum das wichtig ist Alles kommt zusammen: Embeddings, Positionen, maskierte Multi-Head-Attention, Residuen und Layer Norms, trainiert mit Adam auf die Vorhersage des nächsten Zeichens. Auf deiner eigenen CPU, in Sekunden.
Breite 32, 2 Blöcke, 4 Heads, 32 Zeichen Kontext: etwa 29.000 Parameter. 150 Schritte mit je 16 Schnipseln, ein paar Sekunden auf einem Laptop. Tipp die Kurve: den Verlust am Anfang und nach 150 Schritten. (Gleichverteiltes Raten über 95 Zeichen ist ln 95 = 4.55.)
Dann zieh Stichproben daraus. Nach 150 Schritten macht es Buchstabensuppe mit Leerzeichen ungefähr an den richtigen Stellen; das aufgezeichnete Modell der Breite 64, 2.000 Schritte trainiert, schreibt Text in Wortform. Derselbe Code, mehr Rechenleistung.
Wörter und Symbole in dieser Lektion
- Attention
- Softmax der Query-Key-Punktzahlen, benutzt, um die Values zu mitteln
- Head
- eine von H schmaleren Attentions, die nebeneinander laufen, jede mit ihrem eigenen Muster
- Layer Norm
- jeden Vektor für sich normieren: Mittelwert 0, Streuung 1, dann mal g plus b
Fülle my_guess, dann trainiere mit model.train (150 Schritte, Lernrate 0.003, Batch 16) auf corpus.TEXT und behalte den Verlauf in hist. Der Aufruf ist hist = model.train(text, steps=..., lr=..., batch=...); er gibt ein Dictionary zurück, dessen hist['loss'] der alle 20 Schritte (und beim letzten Schritt) protokollierte Trainingsverlust ist, und model.generate(prompt, n, temperature) schreibt danach Text. (help(model.train) gibt das auch aus.) Der Durchschnitt der letzten 5 protokollierten Verluste muss unter 2.85 liegen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.