Train een kleine GPT, live
Waarom dit ertoe doetAlles komt samen: embeddings, positions, masked multi-head attention, residuals en layer norms, getraind met Adam op next-character prediction. Op je eigen CPU, in seconden.
Breedte 32, 2 blokken, 4 koppen, 32 karakters aan context: ongeveer 29,000 parameters. 150 stappen van elk 16 fragmenten, een paar seconden op een laptop. Roep de Curve op: de loss aan het begin en na 150 stappen. (Een uniforme gok over 95 karakters is ln 95 = 4.55.)
Neem er dan een sample uit. Na 150 stappen maakt het een lettersoep met spaties op ongeveer de juiste plaatsen; het opgenomen width-64 model, getraind voor 2,000 stappen, schrijft tekst in de vorm van woorden. Dezelfde code, meer compute.
Woorden en symbolen in deze les
- let op
- softmax van query-key scores, gebruikt om de waarden te middelen
- head
- one van H smallere aandachten draaien naast elkaar, elk met zijn eigen patroon
- layer norm
- normaliseer elke vector apart: gemiddelde 0, spreiding 1, dan vermenigvuldig met g plus b
Vul my_guess in en train dan met model.train (150 stappen, leertempo 0.003, batch 16) op corpus.TEXT, en bewaar de geschiedenis in hist. De aanroep is hist = model.train(text, steps=..., lr=..., batch=...); hij geeft een dictionary terug waarvan hist['loss'] het trainingsverlies is, elke 20 stappen gelogd (en bij de laatste stap), en model.generate(prompt, n, temperature) schrijft daarna tekst. (help(model.train) toont dit ook.) Het gemiddelde van de laatste 5 gelogde verliezen moet onder 2.85 liggen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.