Resepnya: dua pengecekan sebelum hal lainnya
Kenapa ini penting Sebagian besar run yang rusak bisa ditangkap dalam satu menit oleh dua pemeriksaan murah, sebelum kamu menghabiskan satu jam untuk melatih.
Praktisi berpengalaman memulai setiap pengaturan baru dengan cara yang sama:
- Periksa loss di awal. Sebelum pelatihan, model 10 kelas yang belum tahu apa-apa memberi setiap kelas sekitar 0.1, jadi loss-nya seharusnya sekitar -ln(0.1) = 2.30. Jauh di atas itu berarti ada skala yang salah. Jauh di bawahnya berarti jawabannya sampai ke model melalui inputnya. Tidak semua kebocoran terlihat di sini: kalau gambar validasi juga ada di set latih, loss awalnya normal (run sehat klinik ini dan kasus bocornya sama-sama mulai di 2.46), dan hanya skor validasi yang terlalu bagus yang membongkarnya.
- Overfit satu batch. Latih pada satu batch kecil selama beberapa ratus langkah. Model dan loop pelatihan apa pun yang berfungsi bisa menghafal 32 contoh dan menekan loss mendekati nol. Kalau tidak bisa, bug-nya ada di model, loss, atau gradien, dan kamu sudah menemukannya tanpa menyentuh data lengkap.
- Baru setelah itu, perbesar ke run penuh.
Klinik ini adalah pengklasifikasi angka kecil yang bisa kamu rusak dengan sengaja. config(**changes) membuat sebuah pengaturan; train(c) menjalankannya.
| Probe | Apa yang diberitahukannya |
|---|---|
loss_curve(c) | Loss pelatihan setiap 50 langkah dan akurasi validasi akhir. Selalu lihat ini dulu. |
loss_at_init(c) | Loss sebelum pelatihan. Model 10 kelas yang baru seharusnya dekat dengan ln(10) = 2.30. |
overfit_one_batch(c) | Bisakah ia menghafal 32 contoh? Pengaturan yang sehat mendekati 0. |
grad_norms(c) | Ukuran gradien per matriks bobot di awal. Nol berarti tidak ada yang bisa belajar. |
update_ratio(c) | Ukuran langkah SGD biasa dibanding ukuran bobot. Yang sehat sekitar 0.001 sampai 0.1 (patokan untuk SGD biasa; Modul 14 menunjukkan kenapa Adam berbeda). |
act_stats(c) | Aktivasi tersembunyi: rata-rata, nilai terbesar, porsi unit mati. |
lr_schedule(c) | Laju belajar di langkah 0, 50, 100, dan seterusnya. |
batch_labels(c) | Label di beberapa batch pertama. |
overlap(c) | Berapa banyak contoh validasi yang juga muncul di pelatihan. |
Kata dan simbol di pelajaran ini
- probe
- pengukuran cepat atas sebuah run, seperti ukuran gradien atau unit mati
- overfit satu batch
- memeriksa bahwa sebuah pengaturan bisa menghafal beberapa contoh
Tulis sanity(c) yang mengembalikan dictionary dengan init_ok (loss di awal dalam 0.3 dari 2.30) dan can_overfit (overfit-one-batch loss di bawah 0.1), menggunakan probes. Terapkan ke setup sehat dan ke suspect.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.