Salti veri, o un trucco della metrica?
Perché è importante I titoli dicono che i grandi modelli acquistano all'improvviso abilità a una certa dimensione: "emergenza". A volte il salto è vero. Spesso l'abilità è migliorata in modo regolare per tutto il tempo e la metrica l'ha fatta sembrare improvvisa (Schaeffer, Miranda e Koyejo, 2023). Sapere quale dei due casi è decide se puoi prevederlo.
La griglia ha registrato due punteggi sullo stesso testo tenuto da parte:
- Accuratezza per carattere p: la quota di posizioni in cui la prima ipotesi del modello per il carattere successivo è giusta. Sale in modo regolare con la dimensione, da 0.27 a 0.53 a 1.5 milioni di token.
- Tutti e 5 giusti: la quota di posizioni in cui scrive i 5 caratteri successivi senza errori. Tutto o niente.
Se ogni carattere fosse giusto con probabilità p in modo indipendente, cinque di fila sarebbero giusti p^5 delle volte. Controllalo prima sulla griglia. Poi guarda che cosa fa l'esponente a un'abilità che migliora in modo uniforme. Questi piccoli modelli non arrivano mai abbastanza lontano da mostrare l'effetto pieno, quindi la seconda parte è un'illustrazione dichiarata come tale, non una misura: un'accuratezza per carattere che sale in dieci passi uguali da 0.5 a 0.95.
Parole e simboli di questa lezione
- esponente (alpha, beta)
- quanto velocemente scende la loss con più pesi (alpha) o più dati (beta)
- token
- qui, una previsione: un carattere
- emergenza
- un'abilità che sembra comparire all'improvviso a una certa dimensione; a volte creata da una metrica tutto-o-niente
Riempi pairs: per ogni larghezza a 1.5 milioni di token, (p, p^5, tutti-e-5-giusti misurato). Poi per l'illustrazione imposta all10 su p^10 per p_even, e late_share sulla quota della salita totale di all10 che avviene negli ultimi 3 dei 10 passi. Infine imposta case.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.