Silabus Pelajaran 226 dari 246 · Modul 21: Melihat ke dalam sebuah model
Modul 21: Melihat ke dalam sebuah model

Memahami: hafal dulu, mengerti kemudian

Kenapa ini penting Power et al. (2022) melihat sebuah jaringan mencapai akurasi pelatihan yang sempurna, tertahan di tingkat keberuntungan pada data uji untuk waktu yang lama, lalu tiba-tiba bisa melakukan generalisasi. Ini adalah kasus paling jelas di mana melihat ke dalam menjelaskan sesuatu yang tidak bisa dijelaskan oleh kurva loss.

Tugasnya: a + b modulo 23 (sisa bagi setelah dibagi 23; jadi 20 + 5 adalah 2). Ada 23 x 23 = 529 jumlah; model dilatih pada setengah bagian acak dan diuji pada setengah bagian lainnya. Setiap angka mendapat embedding 32; kedua embedding melewati satu lapisan ReLU 128 dan keluar menjadi 23 skor. Ini dilatih pada seluruh bagian di setiap langkah, dengan AdamW (Module 5).

Latih secara live selama 1,500 steps, lalu baca rekaman 40,000-step runs dari kursus ini (sekitar 11 detik masing-masing di laptop, terlalu lama untuk sebuah pelajaran), dengan weight decay 3 dan tanpa apa pun.

Prediksi dulu: setelah 1,500 langkah, train accuracy akan jadi 100%. Berapa test accuracy nanti?

Kata dan simbol di pelajaran ini
memahami
akurasi tes terus naik lama setelah akurasi training sempurna
Giliranku

Atur my_guess ke "near 0", "near 50%" atau "near 100%". Latih selama 1,500 steps dan isi live dengan (train accuracy, test accuracy). Dari runs = interp.recorded()['grok'], 'curve' setiap run punya baris (step, train accuracy, test accuracy, top-3 share): atur half_way ke step pertama di mana test accuracy mencapai 0.5 dengan weight decay 3, dan final_test ke test accuracy terakhir dari setiap run.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.