Programma Lezione 202 di 246 · Modulo 19: Più grande, e quanto migliore (leggi di scala)
Modulo 19: Più grande, e quanto migliore (leggi di scala)

Fare il fit di una legge di potenza con un pavimento

Perché è importante "Più grande è meglio" è inutile per pianificare. "La loss scende come i pesi alla potenza -0.5, verso un pavimento di 1.6" ti permette di mettere un numero su un'esecuzione che non hai pagato. Ottenere quel numero, e sapere quanto ne sei sicuro, è l'abilità.

La forma che descrive la maggior parte dei dati di scala:

loss = E + A N^(-alpha)

N è il numero di pesi, alpha l'esponente (quanto velocemente migliora), ed E il pavimento: la loss che nessun modello di questa famiglia può battere su questi dati. In parte è il testo che è imprevedibile; in parte è il limite proprio della famiglia (questo modello vede sempre solo 8 caratteri indietro). Una famiglia diversa, per esempio una che legge più indietro, ha un pavimento più basso. Senza il pavimento, un fit sui modelli piccoli sovrastima quanto guadagnano quelli grandi.

Come farne il fit: per ogni pavimento candidato E tra 0 e appena sotto la loss più piccola, prendi i logaritmi, log(loss - E) = log A - alpha log N, che è una retta, e fanne il fit con i minimi quadrati. Tieni la E la cui curva ha l'errore quadratico più piccolo sulle loss stesse.

Barre d'errore: ci sono 3 seed per dimensione. Rifai il fit molte volte, ogni volta scegliendo a caso un seed per ogni dimensione (un bootstrap), e guarda la dispersione di alpha. Guarda la scena: gli stessi punti, la curva stimata con e senza pavimento, e la fascia dei fit bootstrap.

Parole e simboli di questa lezione
legge di potenza
y = A x^-alpha: una retta su assi log-log
esponente (alpha, beta)
quanto velocemente scende la loss con più pesi (alpha) o più dati (beta)
pavimento (E)
la loss che nessun modello può battere su questi dati
token
qui, una previsione: un carattere
bootstrap
rifare il fit su dati ricampionati per vedere quanto si sposterebbe un numero stimato
Tocca a te

Scrivi fit(N, loss) che restituisce (E, A, alpha) come descritto (400 pavimenti candidati da 0 a 0.999 × la loss più piccola). Fai il fit delle esecuzioni a 1.5 milioni di token (una media per larghezza) in main, poi esegui 100 fit bootstrap e imposta interval sul 5° e 95° percentile di alpha.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.