Probe milikmu sendiri
Kenapa ini penting Probes adalah cara kamu melihat ke dalam sebuah run. Menulisnya sendiri berarti kamu akan tahu arti angka-angka tersebut saat sebuah tool menampilkannya kepadamu.
Tiga probe melakukan sebagian besar pekerjaan:
- Ukuran gradient per layer: panjang (norm) dari gradient setiap matriks bobot. Semuanya nol: tidak ada yang belajar. Sangat berbeda antar layer: satu layer kekurangan data.
- Dead share: fraksi unit tersembunyi yang mengeluarkan nol untuk setiap contoh dalam batch.
- Rasio Update-ke-weight: learning rate dikali ukuran gradient, dibagi ukuran weight. Ini menunjukkan berapa bagian dari setiap weight yang berubah dalam satu langkah. Sekitar 0.001 sampai 0.1 itu sehat; mendekati 1 berarti setiap langkah menulis ulang weight; mendekati 0 berarti tidak ada yang bergerak.
Harness ini mengekspos bagian dalamnya: _data(c) memberikan data pelatihan, _init(c) bobot awal, dan _fb(p, X, y, c) mengembalikan (loss, gradients, hidden activations).
Kata dan simbol di pelajaran ini
- probe
- pengukuran cepat dari sebuah run, seperti ukuran gradient atau unit yang mati
- rasio update-ke-weight
- seberapa besar satu langkah mengubah setiap weight, relatif terhadap ukurannya
Tulis my_grad_norms(c), my_dead_share(c) dan my_update_ratio(c) menggunakan 256 contoh pelatihan pertama dan bobot awal. Hasilnya harus cocok dengan probe klinik.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.