Cancello: pianifica un addestramento (IA spenta)
Perché è importante Questa è la decisione per cui esistono le leggi di scala: hai un budget e un solo colpo. Pianificalo a partire dalle prove.
Regole del cancello: tutor IA spento. Hai 3 × 10^10 FLOP per un'esecuzione del modello di caratteri del corso, sullo stesso testo della griglia. Scegli una larghezza (una potenza di 2) e il numero di token che il budget allora permette. Usa la griglia registrata come vuoi: fit, tabelle, entrambi.
Il controllo prevede la loss della tua scelta e della scelta migliore possibile con il fit a due variabili del corso, e ti fa passare quando la tua è entro 0.02 dalla migliore e hai speso il budget (entro l'1%).
Parole e simboli di questa lezione
- legge di scala
- come scende la loss quando crescono pesi, dati o calcolo, di solito una legge di potenza verso un pavimento
- token
- qui, una previsione: un carattere
- FLOP (6 N D)
- costo dell'addestramento: circa 6 operazioni per peso per token
Imposta width e tokens.
IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.