Pesi, dati o calcolo: che cosa la frena?
Perché è importante Spendere di più sulla cosa sbagliata non compra niente. Un modello affamato di dati non migliora quando lo rendi più grande; un modello minuscolo non migliora quando gli dai di più. La griglia mostra entrambi i casi, se sai dove guardare.
Guarda lungo una riga della griglia (una larghezza, sempre più dati) e lungo una colonna (una quantità di dati, modelli sempre più larghi).
Un'esecuzione è limitata dai dati quando rendere il modello più largo aiuta a malapena (o peggiora) con quella quantità di dati. È limitata dal modello quando più dati aiutano a malapena a quella larghezza.
Parole e simboli di questa lezione
- token
- qui, una previsione: un carattere
- limitato dai dati, limitato dal modello
- quando più larghezza, o più dati, aiutano a malapena
Riempi gain_wider: per 8,000 token e per 1.5 milioni di token, il calo della loss dalla larghezza 256 alla larghezza 1024. Riempi gain_more_data: per la larghezza 2 e per la larghezza 1024, il calo della loss da 512,000 a 1.5 milioni di token. Poi imposta verdict per due angoli: "data-limited" o "model-limited".
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.