Programma Lezione 207 di 246 · Modulo 19: Più grande, e quanto migliore (leggi di scala)
Modulo 19: Più grande, e quanto migliore (leggi di scala)

Cancello: pianifica un addestramento (IA spenta)

Perché è importante Questa è la decisione per cui esistono le leggi di scala: hai un budget e un solo colpo. Pianificalo a partire dalle prove.

Regole del cancello: tutor IA spento. Hai 3 × 10^10 FLOP per un'esecuzione del modello di caratteri del corso, sullo stesso testo della griglia. Scegli una larghezza (una potenza di 2) e il numero di token che il budget allora permette. Usa la griglia registrata come vuoi: fit, tabelle, entrambi.

Il controllo prevede la loss della tua scelta e della scelta migliore possibile con il fit a due variabili del corso, e ti fa passare quando la tua è entro 0.02 dalla migliore e hai speso il budget (entro l'1%).

Parole e simboli di questa lezione
legge di scala
come scende la loss quando crescono pesi, dati o calcolo, di solito una legge di potenza verso un pavimento
token
qui, una previsione: un carattere
FLOP (6 N D)
costo dell'addestramento: circa 6 operazioni per peso per token
Tocca a te

Imposta width e tokens.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.