Klinik: terlalu bagus, atau terlalu macet
Kenapa ini penting Run yang paling berbahaya adalah run yang terlihat hebat. Model yang bisa melihat jawabannya melaporkan loss pelatihan yang luar biasa dan tidak berguna.
Tanpa masker: model bisa mengintip karakter berikutnya, jadi loss pelatihannya turun lebih jauh daripada run yang sehat, sementara loss-nya pada teks yang belum dilihat (diukur dengan jujur, hanya dari karakter sebelumnya) jauh lebih buruk. Target tidak digeser: targetnya adalah input itu sendiri, jadi model belajar menyalin karakter yang sedang dilihatnya. Loss pelatihan menuju hampir 0, dan pada teks yang belum dilihat hasilnya buruk sekali. Tanpa residual: setiap blok mengganti h alih-alih menambahkannya, jadi tumpukannya sulit dilatih dan loss-nya macet sejak awal.
Setiap kasus di bawah adalah run pelatihan yang ditanami satu kesalahan. Untuk masing-masing: pakai probe untuk menemukan kesalahannya, lalu tulis perbaikan berupa perubahan konfigurasi yang membuat run sehat kembali. Kesalahan di pelajaran ini: no_mask, targets_not_shifted, no_residual. Diagnostikus yang baik jarang butuh lebih dari dua probe per kasus.
| Probe | Apa yang diberitahukannya | Run yang sehat |
|---|---|---|
loss_curve(c) | Loss pelatihan setiap 25 langkah, dan loss pada teks yang belum dilihat di akhir. Selalu lihat ini dulu. | 4.55 turun ke sekitar 2.9; belum dilihat sekitar 3.0 |
loss_at_init(c) | Loss sebelum pelatihan. Model baru yang menebak merata atas 95 karakter memberi ln(95). | 4.55 |
leak_check(c) | Bisakah karakter yang lebih belakang mengubah prediksi yang lebih awal? | False |
show_batch(c) | Satu input pelatihan dan targetnya, sebagai teks. | target = input yang digeser satu karakter ke kiri |
update_ratio(c) | Setelah langkah Adam pertama, seberapa jauh bobot bergeser dibanding ukurannya. Bukan aturan Modul 8: rentang 0.001 sampai 0.1 itu untuk langkah SGD biasa. Langkah pertama Adam menggeser setiap bobot sekitar sebesar laju belajar, apa pun gradiennya, dan bobot ini mulai di sekitar 0.02, jadi 0.01 / 0.02 memberi sekitar 0.5. Bandingkan sebuah kasus dengan run sehat ini, bukan dengan rentang Modul 8. | sekitar 0.5 |
block_change(c) | Seberapa banyak blok pertama mengubah setiap vektor di awal. | sekitar 0.3 |
Kata dan simbol di pelajaran ini
- ln(V)
- loss awal model yang menebak merata atas V simbol: 4.55 untuk 95 karakter
- perubahan blok
- seberapa banyak satu blok mengubah sebuah vektor di awal; mendekati 1 berarti blok itu menggantinya
Isi diagnosis (case ke nama fault) dan fixes (case ke dictionary perubahan config) untuk kasus A, B, dan C. Setelah perbaikanmu, setiap setting harus sama dengan jalannya yang sehat.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.