Prevedi un'esecuzione più grande, poi guardala
Perché è importante Un fit che descrive solo le esecuzioni che hai è un riassunto. Un fit che prevede un'esecuzione che non avevi è una legge, almeno per ora. Ecco il test.
Il corso ha addestrato un'altra dimensione dopo aver finito la griglia: larghezza 2048, circa 375,000 pesi, il doppio della più grande nella griglia, su tutti gli 1.5 milioni di token, 3 seed. Non hai visto la sua loss.
Usa la legge di potenza della lezione 3 (una larghezza alla volta, 1.5 milioni di token) per prevederla. Fissa il numero nel codice, poi apri il risultato registrato.
Parole e simboli di questa lezione
- legge di potenza
- y = A x^-alpha: una retta su assi log-log
- token
- qui, una previsione: un carattere
Fai il fit della griglia a 1.5 milioni di token con scaling.fit_power_law, imposta prediction per la larghezza 2048 (scaling.params_of(2048) pesi), poi imposta actual (la media di scaling.recorded_bigger()) ed error. Confrontalo con l'errore della tua intuizione nella lezione 1 impostando better_than_my_gut.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.