Programma Lezione 206 di 246 · Modulo 19: Più grande, e quanto migliore (leggi di scala)
Modulo 19: Più grande, e quanto migliore (leggi di scala)

Salti veri, o un trucco della metrica?

Perché è importante I titoli dicono che i grandi modelli acquistano all'improvviso abilità a una certa dimensione: "emergenza". A volte il salto è vero. Spesso l'abilità è migliorata in modo regolare per tutto il tempo e la metrica l'ha fatta sembrare improvvisa (Schaeffer, Miranda e Koyejo, 2023). Sapere quale dei due casi è decide se puoi prevederlo.

La griglia ha registrato due punteggi sullo stesso testo tenuto da parte:

  • Accuratezza per carattere p: la quota di posizioni in cui la prima ipotesi del modello per il carattere successivo è giusta. Sale in modo regolare con la dimensione, da 0.27 a 0.53 a 1.5 milioni di token.
  • Tutti e 5 giusti: la quota di posizioni in cui scrive i 5 caratteri successivi senza errori. Tutto o niente.

Se ogni carattere fosse giusto con probabilità p in modo indipendente, cinque di fila sarebbero giusti p^5 delle volte. Controllalo prima sulla griglia. Poi guarda che cosa fa l'esponente a un'abilità che migliora in modo uniforme. Questi piccoli modelli non arrivano mai abbastanza lontano da mostrare l'effetto pieno, quindi la seconda parte è un'illustrazione dichiarata come tale, non una misura: un'accuratezza per carattere che sale in dieci passi uguali da 0.5 a 0.95.

Parole e simboli di questa lezione
esponente (alpha, beta)
quanto velocemente scende la loss con più pesi (alpha) o più dati (beta)
token
qui, una previsione: un carattere
emergenza
un'abilità che sembra comparire all'improvviso a una certa dimensione; a volte creata da una metrica tutto-o-niente
Tocca a te

Riempi pairs: per ogni larghezza a 1.5 milioni di token, (p, p^5, tutti-e-5-giusti misurato). Poi per l'illustrazione imposta all10 su p^10 per p_even, e late_share sulla quota della salita totale di all10 che avviene negli ultimi 3 dei 10 passi. Infine imposta case.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.