Separare: uno sparse autoencoder
Perché è importante Se le feature sono salvate in sovrapposizione, guardare le unità non le troverà. Uno sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) prova a disfarla: ricostruisce ogni vettore da molte più direzioni dei numeri che ha, ma solo poche alla volta.
Prendi i vettori da 64 numeri del GPT dopo il blocco 1, per 19,200 caratteri del testo delle lezioni. Uno sparse autoencoder con 256 feature calcola f = relu(z We + be) e ricostruisce z = f Wd. La loss è l'errore di ricostruzione più l1 per la grandezza totale di f, che spinge la maggior parte delle feature a esattamente zero.
interp.train_sae(A, features=256, l1=...) ne addestra uno; sae.unexplained(A) è la quota della dispersione dei vettori che la ricostruzione perde (0 è perfetto) e sae.features(A) dà f.
Prima prevedi: con una spinta forte (l1 = 0.3), la ricostruzione spiegherà ancora la maggior parte della dispersione (non spiegata sotto 0.2)?
Parole e simboli di questa lezione
- sovrapposizione
- salvare più feature di quanti numeri ci siano, come direzioni che raramente sono attive insieme
- sparse autoencoder
- un layer largo addestrato a ricostruire vettori da poche feature attive alla volta
Imposta my_guess su "yes" o "no". Addestra con l1 0.03 e 0.3 (600 passi da 128 vettori ciascuno). Riempi unexplained[l1] sui vettori tenuti da parte A_new, e active[l1]: il numero medio di feature sopra zero per carattere tenuto da parte.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.