Programma Lezione 204 di 246 · Modulo 19: Più grande, e quanto migliore (leggi di scala)
Modulo 19: Più grande, e quanto migliore (leggi di scala)

L'uso migliore di un budget fisso

Perché è importante Con un budget di calcolo fisso C, un modello più grande vede meno token (C = 6 N D). Troppo grande ed è affamato; troppo piccolo ed è pieno prima che il budget finisca. Nel 2022 questo calcolo (l'articolo "Chinchilla") ha mostrato che quasi tutti i grandi modelli dell'epoca erano troppo grandi per i dati su cui erano addestrati.

Fai il fit di entrambi gli effetti insieme:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d lo adatta a tutte le 150 esecuzioni. Poi per un budget C, ogni larghezza N fissa D = C / (6 N), e la formula prevede la loss: scegli la larghezza con la previsione più bassa. scaling.params_of(width) dà i pesi di una larghezza.

Dove si trova oggi il campo Hoffmann et al. (2022, "Chinchilla") hanno adattato questa stessa forma a due variabili ai grandi modelli linguistici e hanno trovato la divisione compute-optimal a circa 20 token di addestramento per peso. Oggi i laboratori spesso addestrano ben oltre (molti più token per un modello più piccolo), perché un modello più piccolo costa meno ogni volta che risponde: compute-optimal per l'addestramento non è ottimale per l'uso. E quando rendono un modello più largo, riscalano i suoi pesi iniziali e i learning rate per layer (muP, Yang et al. 2022) così che il miglior learning rate trovato su un modello piccolo funzioni ancora su quello grande: il problema che ha misurato la lezione "i modelli più larghi vogliono passi più piccoli" del Modulo 13.

Parole e simboli di questa lezione
esponente (alpha, beta)
quanto velocemente scende la loss con più pesi (alpha) o più dati (beta)
token
qui, una previsione: un carattere
FLOP (6 N D)
costo dell'addestramento: circa 6 operazioni per peso per token
compute-optimal
la divisione di un budget fisso tra dimensione del modello e dati che dà la loss più bassa
Tocca a te

Fai il fit della griglia in f. Scrivi plan(f, budget) che restituisce la larghezza (una potenza di 2 da 2 a 4096) con la loss prevista più bassa. Riempi choice per budget di 1e9, 1e10 e 1e11 FLOP.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.