Silabus Pelajaran 161 dari 246 · Modul 14: Jalankan Klinik II
Modul 14: Jalankan Klinik II

Klinik: ukuran langkah dan bobot awal

Kenapa ini penting Kesalahan learning-rate dan scale pada Modul 8 kembali muncul, dengan jejak Adam di dalamnya.

Dengan Adam, setiap weight bergerak sekitar learning rate pada langkah pertama, apa pun gradient-nya. Jadi rasio update adalah pembacaan langsung dari step size: sekitar 0.5 pada jalannya yang sehat (0.01 terhadap weights di dekat 0.02), sekitar 15 saat rate terlalu tinggi (loss kemudian melonjak tidak menentu), dan sekitar 0.0005 saat terlalu rendah (loss hampir tidak bergerak dari 4.55). Starting weights yang terlalu besar membuat prediksi pertama sangat percaya diri dan salah: starting loss jauh di atas 4.55.

Setiap kasus di bawah adalah sesi pelatihan dengan satu kesalahan yang sengaja dimasukkan. Untuk setiap kasus: gunakan probes untuk menemukan kesalahan, lalu tulis perbaikan sebagai perubahan config agar sesi kembali sehat. Kesalahan di pelajaran ini: lr_too_high, lr_too_low, init_too_big. Diagnostician yang hebat jarang butuh lebih dari dua probes per kasus.

ProbeApa yang diberitahukannya padamuJalankan dengan sehat
loss_curve(c)Loss pelatihan setiap 25 langkah, dan loss pada teks yang belum dilihat di akhir. Selalu lihat pertama kali.4.55 turun ke sekitar 2.9; tidak terlihat sekitar 3.0
loss_at_init(c)Loss sebelum pelatihan. Model baru yang menebak secara merata di atas 95 karakter menghasilkan ln(95).4.55
leak_check(c)Bisakah karakter yang muncul belakangan mengubah prediksi sebelumnya?Salah
show_batch(c)Input pelatihan dan targetnya, sebagai teks.target = input digeser satu karakter ke kiri
update_ratio(c)Setelah langkah Adam pertama, seberapa jauh bobot berpindah relatif terhadap ukurannya. Bukan aturan Modul 8: rentang 0.001 sampai 0.1 itu untuk langkah SGD biasa. Langkah pertama Adam memindahkan setiap bobot sekitar besaran learning rate apa pun gradientnya, dan bobot ini mulai di dekat 0.02, jadi 0.01 / 0.02 menghasilkan sekitar 0.5. Bandingkan kasus dengan jalannya yang sehat ini, bukan dengan rentang Modul 8.sekitar 0.5
block_change(c)Seberapa banyak blok pertama mengubah setiap vektor di awal.sekitar 0.3
Kata dan simbol di pelajaran ini
ln(V)
kerugian awal dari model yang menebak secara merata di atas V simbol: 4.55 untuk 95 karakter
ubah blok
seberapa banyak satu blok mengubah vektor di awal; mendekati 1 berarti itu menggantinya
Giliranku

Isi diagnosis (case ke nama fault) dan fixes (case ke dictionary perubahan config) untuk kasus A, B, dan C. Setelah perbaikanmu, setiap setting harus sama dengan jalannya yang sehat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.