Programma Lezione 224 di 246 · Modulo 21: Guardare dentro un modello
Modulo 21: Guardare dentro un modello

Separare: uno sparse autoencoder

Perché è importante Se le feature sono salvate in sovrapposizione, guardare le unità non le troverà. Uno sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) prova a disfarla: ricostruisce ogni vettore da molte più direzioni dei numeri che ha, ma solo poche alla volta.

Prendi i vettori da 64 numeri del GPT dopo il blocco 1, per 19,200 caratteri del testo delle lezioni. Uno sparse autoencoder con 256 feature calcola f = relu(z We + be) e ricostruisce z = f Wd. La loss è l'errore di ricostruzione più l1 per la grandezza totale di f, che spinge la maggior parte delle feature a esattamente zero.

interp.train_sae(A, features=256, l1=...) ne addestra uno; sae.unexplained(A) è la quota della dispersione dei vettori che la ricostruzione perde (0 è perfetto) e sae.features(A) dà f.

Prima prevedi: con una spinta forte (l1 = 0.3), la ricostruzione spiegherà ancora la maggior parte della dispersione (non spiegata sotto 0.2)?

Parole e simboli di questa lezione
sovrapposizione
salvare più feature di quanti numeri ci siano, come direzioni che raramente sono attive insieme
sparse autoencoder
un layer largo addestrato a ricostruire vettori da poche feature attive alla volta
Tocca a te

Imposta my_guess su "yes" o "no". Addestra con l1 0.03 e 0.3 (600 passi da 128 vettori ciascuno). Riempi unexplained[l1] sui vettori tenuti da parte A_new, e active[l1]: il numero medio di feature sopra zero per carattere tenuto da parte.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.