Silabus Pelajaran 239 dari 246 · Modul 23: Capstone studio: kartu model yang bisa kamu jalankan
Modul 23: Capstone studio: kartu model yang bisa kamu jalankan

Cari dan perbaiki bug yang sengaja ditaruh

Kenapa ini penting Bug terburuk dalam machine learning tidak menyebabkan crash. Mereka tetap berjalan, sedikit lebih buruk dari yang seharusnya, dan tidak ada yang sadar. Sebuah gradient check menemukannya dalam hitungan detik.

A rekan kerja menulis ulang kode gradient studio supaya lebih cepat: suspect_grads. Kamu tidak bisa membacanya, seperti yang sering terjadi di pekerjaan nyata (perpustakaan, branch rekan tim, kode yang dihasilkan). Dilatih dengannya, baseline kamu tetap belajar: pada rencana default kursus skor bahasa hanya sekitar 0.05 lebih buruk, dan pada gambar, dengan seed 0, skornya malah lebih tinggi. Keduanya ada di dalam apa yang disebut pembaca ceroboh sebagai noise. Ada sesuatu yang salah di dalamnya.

Cek dengan cara yang diajarkan di Modul 3: geser satu bobot sedikit, ukur perubahan pada loss, dan bandingkan dengan kemiringan yang diklaim kode. Lakukan ini untuk 5 entri dari masing-masing W1, b1, W2 dan b2 pada model kecil (lebar 8, batch 16), pilih dari entri yang kemiringan klaimnya bukan nol (dengan input one-hot, sebagian besar kemiringan W1 adalah tepat 0, dan pengecekan di sana tidak membuktikan apa pun). Ukur loss dalam float64 dengan studio.loss64 dan geseran 1e-4; anggap kesalahan relatif di atas 0.01 salah.

Kata dan simbol di pelajaran ini
baseline
dasar jalannya setiap perubahan diukur terhadap, pada seed yang sama
cek gradient
membandingkan kemiringan yang dihitung kodemu dengan kemiringan yang diukur dengan menggeser bobot
Giliranku

Tulis check(grad_fn) yang mengembalikan, untuk setiap 'W1', 'b1', 'W2', 'b2', error relatif terbesar dari 5 entri. Atur wrong ke nama yang diurutkan yang errornya di atas 0.01, dan cause ke satu kalimat: apa di backward pass yang berisi gradien yang salah, dan apa yang mungkin terbuang di sana. Lalu tulis fixed_grads sendiri (forward pass adalah m.forward; loss dan kemiringannya adalah studio.loss_and_dout). Kemudian latih baseline kamu (seed 0) dengan masing-masing dan cetak kedua skornya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.