Apa yang berubah di dalam: waves
Kenapa ini penting Nanda et al. (2023) menunjukkan bahwa jaringan yang memahami penjumlahan modular akhirnya menghitungnya dengan gelombang: setiap angka menjadi titik pada beberapa lingkaran, dan menjumlahkan angka berubah menjadi menjumlahkan sudut. Ini adalah salah satu dari sedikit kasus di mana mekanisme lengkap ditemukan dan kemudian diperiksa.
Baca setiap kolom embedding sebagai daftar berisi 23 nilai, satu untuk setiap angka 0 sampai 22, dan bagi menjadi gelombang dengan frekuensi 1 sampai 11 (gelombang frekuensi k berputar k kali dari 0 sampai 22; pembagian ini adalah Fourier transform). interp.frequency_shares(emb) memberikan bagian setiap frekuensi dari embedding (jumlahnya adalah 1). Jika model menggunakan beberapa gelombang, beberapa frekuensi akan menampung sebagian besar; jika tersebar merata, 3 teratas akan menampung 3/11 = 0.27.
saja tidak cukup: bangun ulang embedding dari beberapa frekuensi saja dengan interp.keep_frequencies(emb, keep) dan ukur akurasi tes. Jika 3 teratas adalah mekanismenya, menyimpan hanya mereka harus mempertahankan sebagian besar akurasi, dan menghapus hanya mereka harus menghancurkannya.
Kata dan simbol di pelajaran ini
- pola, efek, mekanisme
- tiga jenis bukti: melihat dan mengamati; mengubahnya dan output berubah; menjelaskannya dan penjelasan tersebut memprediksi kasus baru
- Transformasi Fourier
- membagi daftar nilai menjadi gelombang dengan frekuensi yang berbeda
Muat g = interp.grok_model() (jalannya rekaman dengan weight decay 3, setelah 40,000 langkah). Atur top3 ke tiga frekuensi terbesarnya, top3_share ke total bagian mereka, dan test_acc untuk tiga embedding: 'all', 'only top 3' dan 'all but top 3'.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.