L'uso migliore di un budget fisso
Perché è importante Con un budget di calcolo fisso C, un modello più grande vede meno token (C = 6 N D). Troppo grande ed è affamato; troppo piccolo ed è pieno prima che il budget finisca. Nel 2022 questo calcolo (l'articolo "Chinchilla") ha mostrato che quasi tutti i grandi modelli dell'epoca erano troppo grandi per i dati su cui erano addestrati.
Fai il fit di entrambi gli effetti insieme:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d lo adatta a tutte le 150 esecuzioni. Poi per un budget C, ogni larghezza N fissa D = C / (6 N), e la formula prevede la loss: scegli la larghezza con la previsione più bassa. scaling.params_of(width) dà i pesi di una larghezza.
Dove si trova oggi il campo Hoffmann et al. (2022, "Chinchilla") hanno adattato questa stessa forma a due variabili ai grandi modelli linguistici e hanno trovato la divisione compute-optimal a circa 20 token di addestramento per peso. Oggi i laboratori spesso addestrano ben oltre (molti più token per un modello più piccolo), perché un modello più piccolo costa meno ogni volta che risponde: compute-optimal per l'addestramento non è ottimale per l'uso. E quando rendono un modello più largo, riscalano i suoi pesi iniziali e i learning rate per layer (muP, Yang et al. 2022) così che il miglior learning rate trovato su un modello piccolo funzioni ancora su quello grande: il problema che ha misurato la lezione "i modelli più larghi vogliono passi più piccoli" del Modulo 13.
Parole e simboli di questa lezione
- esponente (alpha, beta)
- quanto velocemente scende la loss con più pesi (alpha) o più dati (beta)
- token
- qui, una previsione: un carattere
- FLOP (6 N D)
- costo dell'addestramento: circa 6 operazioni per peso per token
- compute-optimal
- la divisione di un budget fisso tra dimensione del modello e dati che dà la loss più bassa
Fai il fit della griglia in f. Scrivi plan(f, budget) che restituisce la larghezza (una potenza di 2 da 2 a 4096) con la loss prevista più bassa. Riempi choice per budget di 1e9, 1e10 e 1e11 FLOP.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.