Programma Les 153 van 246 · Module 13: Attention en transformers
Module 13: Attention en transformers

Train een kleine GPT, live

Waarom dit ertoe doetAlles komt samen: embeddings, positions, masked multi-head attention, residuals en layer norms, getraind met Adam op next-character prediction. Op je eigen CPU, in seconden.

Breedte 32, 2 blokken, 4 koppen, 32 karakters aan context: ongeveer 29,000 parameters. 150 stappen van elk 16 fragmenten, een paar seconden op een laptop. Roep de Curve op: de loss aan het begin en na 150 stappen. (Een uniforme gok over 95 karakters is ln 95 = 4.55.)

Neem er dan een sample uit. Na 150 stappen maakt het een lettersoep met spaties op ongeveer de juiste plaatsen; het opgenomen width-64 model, getraind voor 2,000 stappen, schrijft tekst in de vorm van woorden. Dezelfde code, meer compute.

Woorden en symbolen in deze les
let op
softmax van query-key scores, gebruikt om de waarden te middelen
head
one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
layer norm
normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan vermenigvuldig met g plus b
Jij bent aan de beurt

Vul my_guess in en train dan met model.train (150 stappen, leertempo 0.003, batch 16) op corpus.TEXT, en bewaar de geschiedenis in hist. De aanroep is hist = model.train(text, steps=..., lr=..., batch=...); hij geeft een dictionary terug waarvan hist['loss'] het trainingsverlies is, elke 20 stappen gelogd (en bij de laatste stap), en model.generate(prompt, n, temperature) schrijft daarna tekst. (help(model.train) toont dit ook.) Het gemiddelde van de laatste 5 gelogde verliezen moet onder 2.85 liggen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.