Le tue piccole esecuzioni, con il loro costo
Perché è importante La scala è un'affermazione sul costo: quanto migliore per unità di calcolo. Quindi ogni esecuzione ha bisogno di un cartellino del prezzo, e il prezzo dell'addestramento è sorprendentemente semplice.
L'addestramento costa circa 6 operazioni per peso per token: 2 per il passaggio in avanti (una moltiplicazione e una somma per ogni peso) e circa 4 per il passaggio all'indietro (gradienti per gli input e per i pesi). È la regola del registro dei FLOP che usi dalla linea di partenza: scaling.flops(weights, tokens).
Qui addestri tre piccoli modelli dal vivo, ognuno su 32,000 token del testo del corso, a circa 7 volte di distanza nel costo.
Parole e simboli di questa lezione
- token
- qui, una previsione: un carattere
- FLOP (6 N D)
- costo dell'addestramento: circa 6 operazioni per peso per token
Addestra le larghezze 4, 16 e 64 per 32,000 token ciascuna (scaling.train(model, 32_000) restituisce la loss sui dati tenuti da parte). Riempi runs con, per ogni larghezza, i pesi, i FLOP e la loss. Poi imposta cost_ratio: quante volte di più è costata l'esecuzione a larghezza 64 rispetto a quella a larghezza 4.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.