Silabus Pelajaran 95 dari 246 · Modul 8: Jalankan Klinik I
Modul 8: Jalankan Klinik I

Probe milikmu sendiri

Kenapa ini penting Probes adalah cara kamu melihat ke dalam sebuah run. Menulisnya sendiri berarti kamu akan tahu arti angka-angka tersebut saat sebuah tool menampilkannya kepadamu.

Tiga probe melakukan sebagian besar pekerjaan:

  • Ukuran gradient per layer: panjang (norm) dari gradient setiap matriks bobot. Semuanya nol: tidak ada yang belajar. Sangat berbeda antar layer: satu layer kekurangan data.
  • Dead share: fraksi unit tersembunyi yang mengeluarkan nol untuk setiap contoh dalam batch.
  • Rasio Update-ke-weight: learning rate dikali ukuran gradient, dibagi ukuran weight. Ini menunjukkan berapa bagian dari setiap weight yang berubah dalam satu langkah. Sekitar 0.001 sampai 0.1 itu sehat; mendekati 1 berarti setiap langkah menulis ulang weight; mendekati 0 berarti tidak ada yang bergerak.

Harness ini mengekspos bagian dalamnya: _data(c) memberikan data pelatihan, _init(c) bobot awal, dan _fb(p, X, y, c) mengembalikan (loss, gradients, hidden activations).

Kata dan simbol di pelajaran ini
probe
pengukuran cepat dari sebuah run, seperti ukuran gradient atau unit yang mati
rasio update-ke-weight
seberapa besar satu langkah mengubah setiap weight, relatif terhadap ukurannya
Giliranku

Tulis my_grad_norms(c), my_dead_share(c) dan my_update_ratio(c) menggunakan 256 contoh pelatihan pertama dan bobot awal. Hasilnya harus cocok dengan probe klinik.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.