Lebih banyak fitur daripada ruang: superposisi
Kenapa ini penting Jika setiap unit berarti satu hal, membaca jaringan akan mudah. Biasanya tidak, dan model mainan dari Elhage et al. (2022) menunjukkan alasannya: sebuah jaringan bisa menyimpan lebih banyak fitur daripada jumlah angka yang dimilikinya, selama fitur-fitur tersebut jarang aktif bersamaan.
Mainannya: 5 fitur, masing-masing biasanya 0 dan jika tidak adalah angka antara 0 dan 1. Sebuah matriks W (2 kali 5) menekannya menjadi hanya 2 angka, h = W x, dan model membacanya kembali sebagai relu(WT h + b). Fitur i berpengaruh 0.9i sebanyak di dalam loss (fitur 0 paling banyak). Kolom i dari W adalah arah di mana fitur i disimpan; kolom yang mendekati nol berarti fitur tersebut dibuang.
interp.superposition(sparsity=s) melatihnya (s = peluang setiap fitur adalah 0). interp.stored(W) mencantumkan fitur yang disimpan dan interp.angles(W) sudut di antara mereka.
Prediksi dulu: saat fitur jarang aktif (sparsity 0.97), berapa banyak dari 5 yang bisa disimpan oleh 2 angka?
Kata dan simbol di pelajaran ini
- superposition
- menyimpan lebih banyak fitur daripada jumlah angka yang ada, sebagai arah yang jarang muncul bersamaan
Atur my_guess ke angka dari 2 sampai 5. Latih pada sparsity 0, 0.7 dan 0.97 (seed 0) dan isi kept[s] dengan jumlah fitur yang disimpan, dan smallest_angle[s] dengan sudut terkecil antara dua fitur yang disimpan.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.