Silabus Pelajaran 99 dari 246 · Modul 8: Jalankan Klinik I
Modul 8: Jalankan Klinik I

Klinik: mulai dan skala kesalahan

Kenapa ini penting Kesalahan dari Modul 6 di dunia nyata: mereka berhenti belajar sebelum dimulai.

Unit mati: setiap unit tersembunyi mati untuk setiap input, jadi tidak ada gradient yang mencapai layer pertama dan loss tidak pernah keluar dari 2.30. Input tidak diskalakan: piksel masuk sebagai 0 sampai 16 alih-alih 0 sampai 1, aktivasi sangat besar, loss awal jauh di atas 2.30, dan langkah awal sangat liar. (Jebakan BatchNorm train/eval dari Module 6 juga ada di sini; kamu sudah pernah menemuinya.)

Setiap kasus di bawah adalah sesi latihan dengan satu kesalahan yang sengaja dimasukkan. Untuk setiap kasus: gunakan probes untuk menemukan kesalahan, lalu tulis perbaikan sebagai perubahan config. Kesalahan di pelajaran ini: dead_units, unscaled_inputs, plus one fault from earlier. Semakin sedikit probes semakin baik; seorang diagnostisi yang hebat jarang butuh lebih dari dua per kasus.

ProbeApa yang diberitahukannya padamu
loss_curve(c)Loss pelatihan setiap 50 langkah dan akurasi validasi akhir. Selalu lihat pertama kali.
loss_at_init(c)Loss sebelum pelatihan. Model 10-kelas yang baru harusnya mendekati ln(10) = 2.30.
overfit_one_batch(c)Bisa tidak dia mengingat 32 contoh? Pengaturan yang bagus dapat mendekati 0.
grad_norms(c)Ukuran Gradient per matriks bobot di awal. Nol berarti tidak ada yang bisa dipelajari.
update_ratio(c)Ukuran langkah SGD biasa relatif terhadap ukuran bobot. Nilai yang sehat sekitar 0.001 sampai 0.1 (aturan praktis untuk SGD biasa; Modul 14 menunjukkan mengapa Adam berbeda).
act_stats(c)Aktivasi tersembunyi: rata-rata, nilai terbesar, bagian unit mati.
lr_schedule(c)Learning rate pada langkah 0, 50, 100 dan seterusnya.
batch_labels(c)Label pada beberapa batch pertama.
overlap(c)Berapa banyak contoh validasi yang juga muncul di pelatihan.
Kata dan simbol di pelajaran ini
probe
pengukuran cepat dari sebuah run, seperti ukuran gradient atau unit yang mati
Giliranku

Isi diagnosis (case ke nama fault) dan fixes (case ke dictionary perubahan config) untuk kasus A, B, dan C. Perbaikan harus menghapus fault dan mencapai setidaknya 90% akurasi validasi.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.