Silabus Pelajaran 223 dari 246 · Modul 21: Melihat ke dalam sebuah model
Modul 21: Melihat ke dalam sebuah model

Lebih banyak fitur daripada ruang: superposisi

Kenapa ini penting Jika setiap unit berarti satu hal, membaca jaringan akan mudah. Biasanya tidak, dan model mainan dari Elhage et al. (2022) menunjukkan alasannya: sebuah jaringan bisa menyimpan lebih banyak fitur daripada jumlah angka yang dimilikinya, selama fitur-fitur tersebut jarang aktif bersamaan.

Mainannya: 5 fitur, masing-masing biasanya 0 dan jika tidak adalah angka antara 0 dan 1. Sebuah matriks W (2 kali 5) menekannya menjadi hanya 2 angka, h = W x, dan model membacanya kembali sebagai relu(WT h + b). Fitur i berpengaruh 0.9i sebanyak di dalam loss (fitur 0 paling banyak). Kolom i dari W adalah arah di mana fitur i disimpan; kolom yang mendekati nol berarti fitur tersebut dibuang.

interp.superposition(sparsity=s) melatihnya (s = peluang setiap fitur adalah 0). interp.stored(W) mencantumkan fitur yang disimpan dan interp.angles(W) sudut di antara mereka.

Prediksi dulu: saat fitur jarang aktif (sparsity 0.97), berapa banyak dari 5 yang bisa disimpan oleh 2 angka?

Kata dan simbol di pelajaran ini
superposition
menyimpan lebih banyak fitur daripada jumlah angka yang ada, sebagai arah yang jarang muncul bersamaan
Giliranku

Atur my_guess ke angka dari 2 sampai 5. Latih pada sparsity 0, 0.7 dan 0.97 (seed 0) dan isi kept[s] dengan jumlah fitur yang disimpan, dan smallest_angle[s] dengan sudut terkecil antara dua fitur yang disimpan.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.