Silabus Pelajaran 227 dari 246 · Modul 21: Melihat ke dalam sebuah model
Modul 21: Melihat ke dalam sebuah model

Apa yang berubah di dalam: waves

Kenapa ini penting Nanda et al. (2023) menunjukkan bahwa jaringan yang memahami penjumlahan modular akhirnya menghitungnya dengan gelombang: setiap angka menjadi titik pada beberapa lingkaran, dan menjumlahkan angka berubah menjadi menjumlahkan sudut. Ini adalah salah satu dari sedikit kasus di mana mekanisme lengkap ditemukan dan kemudian diperiksa.

Baca setiap kolom embedding sebagai daftar berisi 23 nilai, satu untuk setiap angka 0 sampai 22, dan bagi menjadi gelombang dengan frekuensi 1 sampai 11 (gelombang frekuensi k berputar k kali dari 0 sampai 22; pembagian ini adalah Fourier transform). interp.frequency_shares(emb) memberikan bagian setiap frekuensi dari embedding (jumlahnya adalah 1). Jika model menggunakan beberapa gelombang, beberapa frekuensi akan menampung sebagian besar; jika tersebar merata, 3 teratas akan menampung 3/11 = 0.27.

Pola

saja tidak cukup: bangun ulang embedding dari beberapa frekuensi saja dengan interp.keep_frequencies(emb, keep) dan ukur akurasi tes. Jika 3 teratas adalah mekanismenya, menyimpan hanya mereka harus mempertahankan sebagian besar akurasi, dan menghapus hanya mereka harus menghancurkannya.

Kata dan simbol di pelajaran ini
pola, efek, mekanisme
tiga jenis bukti: melihat dan mengamati; mengubahnya dan output berubah; menjelaskannya dan penjelasan tersebut memprediksi kasus baru
Transformasi Fourier
membagi daftar nilai menjadi gelombang dengan frekuensi yang berbeda
Giliranku

Muat g = interp.grok_model() (jalannya rekaman dengan weight decay 3, setelah 40,000 langkah). Atur top3 ke tiga frekuensi terbesarnya, top3_share ke total bagian mereka, dan test_acc untuk tiga embedding: 'all', 'only top 3' dan 'all but top 3'.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.