Memahami: hafal dulu, mengerti kemudian
Kenapa ini penting Power et al. (2022) melihat sebuah jaringan mencapai akurasi pelatihan yang sempurna, tertahan di tingkat keberuntungan pada data uji untuk waktu yang lama, lalu tiba-tiba bisa melakukan generalisasi. Ini adalah kasus paling jelas di mana melihat ke dalam menjelaskan sesuatu yang tidak bisa dijelaskan oleh kurva loss.
Tugasnya: a + b modulo 23 (sisa bagi setelah dibagi 23; jadi 20 + 5 adalah 2). Ada 23 x 23 = 529 jumlah; model dilatih pada setengah bagian acak dan diuji pada setengah bagian lainnya. Setiap angka mendapat embedding 32; kedua embedding melewati satu lapisan ReLU 128 dan keluar menjadi 23 skor. Ini dilatih pada seluruh bagian di setiap langkah, dengan AdamW (Module 5).
Latih secara live selama 1,500 steps, lalu baca rekaman 40,000-step runs dari kursus ini (sekitar 11 detik masing-masing di laptop, terlalu lama untuk sebuah pelajaran), dengan weight decay 3 dan tanpa apa pun.
Prediksi dulu: setelah 1,500 langkah, train accuracy akan jadi 100%. Berapa test accuracy nanti?
Kata dan simbol di pelajaran ini
- memahami
- akurasi tes terus naik lama setelah akurasi training sempurna
Atur my_guess ke "near 0", "near 50%" atau "near 100%". Latih selama 1,500 steps dan isi live dengan (train accuracy, test accuracy). Dari runs = interp.recorded()['grok'], 'curve' setiap run punya baris (step, train accuracy, test accuracy, top-3 share): atur half_way ke step pertama di mana test accuracy mencapai 0.5 dengan weight decay 3, dan final_test ke test accuracy terakhir dari setiap run.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.