I modelli più larghi vogliono passi più piccoli
Perché è importante Il learning rate che funziona per un modello piccolo può rovinarne uno più grande. I team che addestrano modelli grandi spendono soldi veri per scoprirlo; tu puoi leggerlo da esecuzioni registrate.
L'esperimento registrato gpt-width-lr ha addestrato il minuscolo GPT alle larghezze 32, 64 e 128, ciascuna con learning rate 0.001, 0.003 e 0.01, per 2,000 passi, con tre semi ciascuna, e ha misurato alla fine la loss su testo tenuto da parte.
Prevedi prima di guardare: quale learning rate è il migliore per il modello più largo, 128?
Parole e simboli di questa lezione
- query, key, value
- che cosa cerca una posizione; che cosa offre ogni posizione per la corrispondenza; che cosa consegna
Imposta my_guess su uno tra 0.001, 0.003 o 0.01, poi riempi mean_loss: da (width, lr) alla loss finale media su dati tenuti da parte sui tre semi (exp.seeds(d=..., lr=...) dà le tre esecuzioni; la loss finale su dati tenuti da parte di ogni esecuzione è run.val_loss[-1][1]). Poi riempi best_lr: dalla larghezza al learning rate con la media più bassa.
Poi usa la regola del rumore del Modulo 9 per dire quali impostazioni differiscono davvero. Con tre semi ciascuna, due medie differiscono davvero solo se lo scarto supera circa 2 × s × sqrt(2/3), dove s è la più grande tra le dispersioni dei semi delle due impostazioni (np.std dei tre valori). Qualsiasi cosa più vicina è un pareggio.
Imposta ties: dalla larghezza alla lista dei learning rate che pareggiano con il migliore di quella larghezza (il migliore compreso).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.