Percaya sama helper? Edisi urutan
Kenapa ini penting Skill yang sama dengan Modul 8, kesalahan yang lebih sulit: beberapa dari ini terlihat mirip hanya dari kurva kerugian saja, jadi pembantu yang hanya membaca kurva akan salah dengan keyakinan penuh.
Asisten AI telah memberi nama kesalahan untuk setiap dari delapan jalannya yang rusak. Beberapa klaim salah. Perhatikan pasangan yang berbagi gejala: dua kesalahan bisa membuat training loss menjadi sangat rendah, dan dua bisa membuatnya macet.
| Probe | Apa yang diberitahukannya padamu | Jalankan dengan sehat |
|---|---|---|
loss_curve(c) | Loss pelatihan setiap 25 langkah, dan loss pada teks yang belum pernah dilihat di akhir. Selalu lihat pertama kali. | 4.55 turun ke sekitar 2.9; tidak terlihat sekitar 3.0 |
loss_at_init(c) | Loss sebelum pelatihan. Model baru yang menebak secara merata di atas 95 karakter memberikan ln(95). | 4.55 |
leak_check(c) | Bisakah karakter yang muncul belakangan mengubah prediksi sebelumnya? | Salah |
show_batch(c) | Input pelatihan satu dan targetnya, sebagai teks. | target = input digeser satu karakter ke kiri |
update_ratio(c) | Setelah langkah Adam pertama, seberapa jauh bobot bergerak relatif terhadap ukurannya. Bukan aturan Modul 8: rentang 0.001 sampai 0.1 itu untuk langkah SGD biasa. Langkah pertama Adam menggerakkan setiap bobot sekitar besaran learning rate apa pun gradiennya, dan bobot ini mulai di dekat 0.02, jadi 0.01 / 0.02 menghasilkan sekitar 0.5. Bandingkan kasus dengan jalannya yang sehat ini, bukan dengan rentang Modul 8. | sekitar 0.5 |
block_change(c) | Seberapa banyak blok pertama mengubah setiap vektor di awal. | sekitar 0.3 |
Kata dan simbol di pelajaran ini
- ln(V)
- kerugian awal dari model yang menebak secara merata di atas V simbol: 4.55 untuk 95 karakter
- ubah blok
- seberapa banyak satu blok mengubah vektor di awal; mendekati 1 berarti itu menggantinya
Untuk setiap kasus A sampai H, atur verdicts[case] ke True (pembantunya benar) atau False. Kamu butuh setidaknya 7 dari 8 benar.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.