Kamu akan menggunakan gradient checker di seluruh kursus ini.
Kenapa ini penting Gradien yang salah tidak akan membuat program error. Pelatihan hanya akan berjalan buruk secara diam diam. Gradient checker menangkap kesalahan dalam hitungan detik, dan kamu akan menggunakan ini di setiap modul.
Idenya adalah nudge dari Module 2, dilakukan untuk setiap weight: nudge weight i naik dan turun sebesar h, ukur loss kedua kalinya, dan bagi selisihnya dengan 2h. Bandingkan dengan gradient dari formulamu.
Seberapa dekat itu dekat?
Gunakan relative error: |a - b| dibagi dengan nilai yang lebih besar antara |a| dan |b| (atau 1e-8 jika keduanya sangat kecil). Di bawah 1e-6 dianggap lulus; di atas 1e-3 hampir selalu berarti ada bug.
Cek gradien: membandingkan gradien analitik (dari formulamu) dengan gradien numerik (dari nudging).
Ringkasan Wasit yang lambat tapi bisa dipercaya. Gunakan sebelum mempercayai gradien baru apa pun.
Kata dan simbol di pelajaran ini
- laju pembelajaran (lr)
- seberapa besar setiap langkah pelatihan
- cek gradient
- membandingkan rumus gradient kamu dengan estimasi nudge-and-measure
Tulis numeric_grad(f, w, h=1e-5) (w adalah NumPy array dengan bentuk apa saja; kembalikan array dengan bentuk yang sama) dan grad_check(f, grad, w) yang mengembalikan error relatif terbesar. Di sini f(w) mengambil array bobot dan mengembalikan loss sebagai satu angka, dan grad adalah sebuah array (gradien rumusmu di w, sudah dihitung), bukan sebuah fungsi. Jangan ubah w secara permanen. Untuk mengunjungi setiap posisi dari array dengan bentuk apa saja, for idx in np.ndindex(w.shape): memberikan setiap tuple indeks secara bergantian. Tes tersembunyi memberikan pengecekmu tiga gradien yang sedikit salah; masing-masing harus memiliki skor di atas 1e-3.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.