Programma Lezione 205 di 246 · Modulo 19: Più grande, e quanto migliore (leggi di scala)
Modulo 19: Più grande, e quanto migliore (leggi di scala)

Prevedi un'esecuzione più grande, poi guardala

Perché è importante Un fit che descrive solo le esecuzioni che hai è un riassunto. Un fit che prevede un'esecuzione che non avevi è una legge, almeno per ora. Ecco il test.

Il corso ha addestrato un'altra dimensione dopo aver finito la griglia: larghezza 2048, circa 375,000 pesi, il doppio della più grande nella griglia, su tutti gli 1.5 milioni di token, 3 seed. Non hai visto la sua loss.

Usa la legge di potenza della lezione 3 (una larghezza alla volta, 1.5 milioni di token) per prevederla. Fissa il numero nel codice, poi apri il risultato registrato.

Parole e simboli di questa lezione
legge di potenza
y = A x^-alpha: una retta su assi log-log
token
qui, una previsione: un carattere
Tocca a te

Fai il fit della griglia a 1.5 milioni di token con scaling.fit_power_law, imposta prediction per la larghezza 2048 (scaling.params_of(2048) pesi), poi imposta actual (la media di scaling.recorded_bigger()) ed error. Confrontalo con l'errore della tua intuizione nella lezione 1 impostando better_than_my_gut.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.