Silabus Pelajaran 224 dari 246 · Modul 21: Melihat ke dalam sebuah model
Modul 21: Melihat ke dalam sebuah model

Unmixing: sebuah sparse autoencoder

Kenapa ini penting Jika fitur disimpan dalam superposisi, melihat unit tidak akan menemukannya. Sebuah sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) mencoba membatalkannya: membangun kembali setiap vektor dari jauh lebih banyak arah daripada jumlah angka yang dimilikinya, tapi hanya beberapa saja dalam satu waktu.

Ambil vektor 64-angka GPT setelah blok 1, untuk 19,200 karakter teks pelajaran. Sparse autoencoder dengan 256 fitur menghitung f = relu(z We + be) dan membangun ulang z = f Wd. Loss adalah error pembangunan ulang ditambah l1 dikali total ukuran f, yang mendorong sebagian besar fitur menjadi tepat nol.

interp.train_sae(A, features=256, l1=...) melatih satu; sae.unexplained(A) adalah bagian dari sebaran vektor yang terlewatkan oleh pembangunan ulang (0 adalah sempurna) dan sae.features(A) memberikan f.

Prediksi dulu: dengan dorongan kuat (l1 = 0.3), apakah rebuild masih bisa menjelaskan sebagian besar spread (unexplained di bawah 0.2)?

Kata dan simbol di pelajaran ini
superposition
menyimpan lebih banyak fitur daripada jumlah angka yang ada, sebagai arah yang jarang muncul bersamaan
sparse autoencoder
lapisan lebar yang dilatih untuk membangun kembali vektor dari beberapa fitur aktif dalam satu waktu
Giliranku

Atur my_guess ke "yes" atau "no". Latih di l1 0.03 dan 0.3 (600 langkah dari 128 vektor masing-masing). Isi unexplained[l1] pada vektor yang disimpan A_new, dan active[l1]: rata-rata jumlah fitur di atas nol per karakter yang disimpan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.