Cari dan perbaiki bug yang sengaja ditaruh
Kenapa ini penting Bug terburuk dalam machine learning tidak menyebabkan crash. Mereka tetap berjalan, sedikit lebih buruk dari yang seharusnya, dan tidak ada yang sadar. Sebuah gradient check menemukannya dalam hitungan detik.
A rekan kerja menulis ulang kode gradient studio supaya lebih cepat: suspect_grads. Kamu tidak bisa membacanya, seperti yang sering terjadi di pekerjaan nyata (perpustakaan, branch rekan tim, kode yang dihasilkan). Dilatih dengannya, baseline kamu tetap belajar: pada rencana default kursus skor bahasa hanya sekitar 0.05 lebih buruk, dan pada gambar, dengan seed 0, skornya malah lebih tinggi. Keduanya ada di dalam apa yang disebut pembaca ceroboh sebagai noise. Ada sesuatu yang salah di dalamnya.
Cek dengan cara yang diajarkan di Modul 3: geser satu bobot sedikit, ukur perubahan pada loss, dan bandingkan dengan kemiringan yang diklaim kode. Lakukan ini untuk 5 entri dari masing-masing W1, b1, W2 dan b2 pada model kecil (lebar 8, batch 16), pilih dari entri yang kemiringan klaimnya bukan nol (dengan input one-hot, sebagian besar kemiringan W1 adalah tepat 0, dan pengecekan di sana tidak membuktikan apa pun). Ukur loss dalam float64 dengan studio.loss64 dan geseran 1e-4; anggap kesalahan relatif di atas 0.01 salah.
Kata dan simbol di pelajaran ini
- baseline
- dasar jalannya setiap perubahan diukur terhadap, pada seed yang sama
- cek gradient
- membandingkan kemiringan yang dihitung kodemu dengan kemiringan yang diukur dengan menggeser bobot
Tulis check(grad_fn) yang mengembalikan, untuk setiap 'W1', 'b1', 'W2', 'b2', error relatif terbesar dari 5 entri. Atur wrong ke nama yang diurutkan yang errornya di atas 0.01, dan cause ke satu kalimat: apa di backward pass yang berisi gradien yang salah, dan apa yang mungkin terbuang di sana. Lalu tulis fixed_grads sendiri (forward pass adalah m.forward; loss dan kemiringannya adalah studio.loss_and_dout). Kemudian latih baseline kamu (seed 0) dengan masing-masing dan cetak kedua skornya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.