Indovina un modello più grande
Perché è importante Addestrare un grande modello costa mesi e milioni. Prima di spenderli, si prevede quanto sarà buono a partire da piccole esecuzioni. Il fatto sorprendente dietro il boom dell'IA è che di solito la previsione funziona. Prima, guarda quanto è buona la tua intuizione.
I modelli di questo modulo sono piccoli modelli di caratteri: leggono 8 caratteri e prevedono il successivo. Un solo numero ne fissa la dimensione, la larghezza del layer nascosto. Il corso ne ha addestrati 150 (10 larghezze, 5 quantità di dati, 3 seed ciascuno) su 1.5 milioni di caratteri del testo delle sue lezioni, e ha misurato la loss di ognuno su 100,000 caratteri che non aveva mai visto.
Un modello di larghezza 128 (24,401 pesi) addestrato su 1.5 milioni di token arriva a una loss sui dati tenuti da parte di circa 1.86. Un token qui è una previsione: un carattere.
Prima di guardare: un modello di larghezza 1024 ha 7.7 volte i pesi. Addestrato sugli stessi dati, a che loss arriverà? Per avere una scala: prevedere ogni carattere come ugualmente probabile ottiene 4.42, e i migliori di questi modelli scendono sotto 2.
Parole e simboli di questa lezione
- token
- qui, una previsione: un carattere
Imposta my_guess sulla loss sui dati tenuti da parte che prevedi per la larghezza 1024 a 1.5 milioni di token. Poi imposta actual dalle esecuzioni registrate (la media sui 3 seed), ed error su quanto ti sei sbagliato (actual meno guess).
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.