Programma Lezione 227 di 246 · Modulo 21: Guardare dentro un modello
Modulo 21: Guardare dentro un modello

Che cosa è cambiato dentro: onde

Perché è importante Nanda et al. (2023) hanno mostrato che le reti che fanno grokking sull'addizione modulare finiscono per calcolarla con delle onde: ogni numero diventa un punto su alcuni cerchi, e sommare numeri diventa sommare angoli. È uno dei pochi casi in cui è stato trovato, e poi controllato, un meccanismo completo.

Leggi ogni colonna dell'embedding come una lista di 23 valori, uno per ogni numero da 0 a 22, e scomponila in onde di frequenza da 1 a 11 (un'onda di frequenza k fa k giri da 0 a 22; questa scomposizione è la trasformata di Fourier). interp.frequency_shares(emb) dà la quota dell'embedding di ogni frequenza (sommano a 1). Se il modello usa poche onde, poche frequenze ne contengono la maggior parte; con una distribuzione uniforme, le prime 3 ne conterrebbero 3/11 = 0.27.

Uno schema da solo non basta: ricostruisci l'embedding solo da alcune frequenze con interp.keep_frequencies(emb, keep) e misura l'accuratezza di test. Se le prime 3 sono il meccanismo, tenere solo quelle deve conservare quasi tutta l'accuratezza, e togliere solo quelle deve distruggerla.

Parole e simboli di questa lezione
schema, effetto, meccanismo
tre tipi di prova: hai guardato e visto; l'hai cambiato e l'output è cambiato; l'hai spiegato e la spiegazione ha previsto casi nuovi
trasformata di Fourier
scomporre una lista di valori in onde di frequenze diverse
Tocca a te

Carica g = interp.grok_model() (l'esecuzione registrata con weight decay 3, dopo 40,000 passi). Imposta top3 sulle sue tre frequenze più grandi, top3_share sulla loro quota totale, e test_acc per tre embedding: 'all', 'only top 3' e 'all but top 3'.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.