Gerbang: tiga jaluran rusak yang tak terlihat (AI mati)
Kenapa ini penting Mendiagnosis sendirian, dengan anggaran terbatas, adalah keahlian yang akan dipelajari di modul ini.
AI tutor mati. Tiga kali jalan, masing-masing dengan satu kesalahan dari bagian mana pun di modul ini. Ini adalah jalan baru, bukan kasus latihan: seed lain, batch size lain, dan kesalahan ukuran lain, jadi angka yang kamu ingat dari latihan tidak akan cocok. Anggaranmu adalah 9 probe total (melatih kasus tertutup dihitung sebagai satu), dihitung dari setiap jalan sejak halaman dibuka (mengulang probe pada kasus yang sama gratis; diagnosis yang salah atau perbaikan yang tidak berhasil memakan satu probe).
Setiap kasus di bawah adalah sesi latihan dengan satu kesalahan yang sengaja dimasukkan. Untuk setiap kasus: gunakan probe untuk menemukan kesalahan, lalu tulis perbaikannya sebagai perubahan config. Kesalahan di pelajaran ini: any fault from this module. Semakin sedikit probe semakin baik; seorang ahli diagnostik yang hebat jarang butuh lebih dari dua per kasus.
| Probe | Apa yang diberitahukannya padamu |
|---|---|
loss_curve(c) | Loss pelatihan setiap 50 langkah dan akurasi validasi akhir. Selalu lihat pertama kali. |
loss_at_init(c) | Loss sebelum pelatihan. Model 10-kelas yang baru harusnya mendekati ln(10) = 2.30. |
overfit_one_batch(c) | Bisa tidak dia mengingat 32 contoh? Pengaturan yang bagus dapat mendekati 0. |
grad_norms(c) | Ukuran Gradient per matriks bobot di awal. Nol berarti tidak ada yang bisa dipelajari. |
update_ratio(c) | Ukuran langkah SGD biasa relatif terhadap ukuran bobot. Nilai yang sehat sekitar 0.001 sampai 0.1 (aturan praktis untuk SGD biasa; Modul 14 menunjukkan mengapa Adam berbeda). |
act_stats(c) | Aktivasi tersembunyi: rata-rata, nilai terbesar, bagian unit mati. |
lr_schedule(c) | Learning rate pada langkah 0, 50, 100 dan seterusnya. |
batch_labels(c) | Label di beberapa batch pertama. |
overlap(c) | Berapa banyak contoh validasi yang juga muncul di pelatihan. |
Kata dan simbol di pelajaran ini
- probe
- pengukuran cepat dari sebuah run, seperti ukuran gradient atau unit yang mati
Isi diagnosis (case ke nama fault) dan fixes (case ke dictionary perubahan config) untuk kasus A, B, dan C. Perbaikan harus menghapus fault dan mencapai setidaknya 90% akurasi validasi.
AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.