Addestra un minuscolo GPT, dal vivo
Perché è importante Tutto si mette insieme: embedding, posizioni, attenzione multi-testa con maschera, residui e layer norm, addestrati con Adam a prevedere il carattere successivo. Sulla tua CPU, in pochi secondi.
Larghezza 32, 2 blocchi, 4 teste, 32 caratteri di contesto: circa 29,000 parametri. 150 passi da 16 frammenti ciascuno, pochi secondi su un portatile. Indovina la curva: la loss all'inizio e dopo 150 passi. (Un'ipotesi uniforme su 95 caratteri è ln 95 = 4.55.)
Poi campiona da lui. Dopo 150 passi produce una zuppa di lettere con gli spazi più o meno nei posti giusti; il modello registrato di larghezza 64, addestrato per 2,000 passi, scrive testo dalla forma di parole. Stesso codice, più calcolo.
Parole e simboli di questa lezione
- attenzione
- softmax dei punteggi query-key, usata per fare la media dei value
- testa
- una di H attenzioni più strette eseguite una accanto all'altra, ognuna con il proprio schema
- layer norm
- normalizzare ogni vettore per conto suo: media 0, dispersione 1, poi per g più b
Compila my_guess, poi addestra con model.train (150 passi, learning rate 0.003, batch 16) su corpus.TEXT e tieni la cronologia in hist. La chiamata è hist = model.train(text, steps=..., lr=..., batch=...); restituisce un dizionario il cui hist['loss'] è la loss di addestramento registrata ogni 20 passi (e all'ultimo passo), e model.generate(prompt, n, temperature) scrive testo dopo. (Anche help(model.train) stampa queste informazioni.) La media delle ultime 5 loss registrate deve essere sotto 2.85.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.