Silabus Pelajaran 160 dari 246 · Modul 14: Jalankan Klinik II
Modul 14: Jalankan Klinik II

Klinik: terlalu bagus, atau terlalu macet

Kenapa ini penting Run yang paling berbahaya adalah run yang terlihat hebat. Model yang bisa melihat jawabannya melaporkan loss pelatihan yang luar biasa dan tidak berguna.

Tanpa masker: model bisa mengintip karakter berikutnya, jadi loss pelatihannya turun lebih jauh daripada run yang sehat, sementara loss-nya pada teks yang belum dilihat (diukur dengan jujur, hanya dari karakter sebelumnya) jauh lebih buruk. Target tidak digeser: targetnya adalah input itu sendiri, jadi model belajar menyalin karakter yang sedang dilihatnya. Loss pelatihan menuju hampir 0, dan pada teks yang belum dilihat hasilnya buruk sekali. Tanpa residual: setiap blok mengganti h alih-alih menambahkannya, jadi tumpukannya sulit dilatih dan loss-nya macet sejak awal.

Setiap kasus di bawah adalah run pelatihan yang ditanami satu kesalahan. Untuk masing-masing: pakai probe untuk menemukan kesalahannya, lalu tulis perbaikan berupa perubahan konfigurasi yang membuat run sehat kembali. Kesalahan di pelajaran ini: no_mask, targets_not_shifted, no_residual. Diagnostikus yang baik jarang butuh lebih dari dua probe per kasus.

ProbeApa yang diberitahukannyaRun yang sehat
loss_curve(c)Loss pelatihan setiap 25 langkah, dan loss pada teks yang belum dilihat di akhir. Selalu lihat ini dulu.4.55 turun ke sekitar 2.9; belum dilihat sekitar 3.0
loss_at_init(c)Loss sebelum pelatihan. Model baru yang menebak merata atas 95 karakter memberi ln(95).4.55
leak_check(c)Bisakah karakter yang lebih belakang mengubah prediksi yang lebih awal?False
show_batch(c)Satu input pelatihan dan targetnya, sebagai teks.target = input yang digeser satu karakter ke kiri
update_ratio(c)Setelah langkah Adam pertama, seberapa jauh bobot bergeser dibanding ukurannya. Bukan aturan Modul 8: rentang 0.001 sampai 0.1 itu untuk langkah SGD biasa. Langkah pertama Adam menggeser setiap bobot sekitar sebesar laju belajar, apa pun gradiennya, dan bobot ini mulai di sekitar 0.02, jadi 0.01 / 0.02 memberi sekitar 0.5. Bandingkan sebuah kasus dengan run sehat ini, bukan dengan rentang Modul 8.sekitar 0.5
block_change(c)Seberapa banyak blok pertama mengubah setiap vektor di awal.sekitar 0.3
Kata dan simbol di pelajaran ini
ln(V)
loss awal model yang menebak merata atas V simbol: 4.55 untuk 95 karakter
perubahan blok
seberapa banyak satu blok mengubah sebuah vektor di awal; mendekati 1 berarti blok itu menggantinya
Giliranku

Isi diagnosis (case ke nama fault) dan fixes (case ke dictionary perubahan config) untuk kasus A, B, dan C. Setelah perbaikanmu, setiap setting harus sama dengan jalannya yang sehat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.