Resepnya, untuk model sekuensial
Kenapa ini penting Dua pengecekan di Modul 8 (loss di awal, hafal satu batch) tetap berlaku. Model sekuensial menambah cara baru untuk gagal secara diam diam, dan dua pengecekan murah menangkap yang terburuk sebelum kamu menghabiskan komputasi.
Model klinik ini adalah GPT kecil: lebar 16, 2 blok, 2 head, 16 karakter konteks, 200 langkah Adam pada teks kursus. Model ini dilatih dalam beberapa detik, jadi kamu bisa bebas mencobanya.
Cek 1: loss awal
A model baru dengan bobot kecil menyebarkan tebakannya secara merata ke karakter V, jadi loss nya adalah ln(V). Untuk 95 karakter itu adalah 4.55. Jauh di atasnya berarti ada sesuatu yang skalanya salah; jauh di bawahnya berarti model mendapat bantuan yang seharusnya tidak ia dapatkan.
Cek 2: jangan mengintip
Ubah karakter terakhir dari sebuah input. Jika ada prediksi untuk posisi sebelumnya yang berubah, model bisa melihat masa depan (Module 13), dan setiap angka pelatihan yang kamu dapatkan terlalu bagus untuk jadi kenyataan.
| Probe | Apa yang diberitahukannya padamu | Jalankan dengan sehat |
|---|---|---|
loss_curve(c) | Loss pelatihan setiap 25 langkah, dan loss pada teks yang belum dilihat di akhir. Selalu lihat pertama kali. | 4.55 turun ke sekitar 2.9; tidak terlihat sekitar 3.0 |
loss_at_init(c) | Loss sebelum pelatihan. Model baru yang menebak secara merata di atas 95 karakter memberikan ln(95). | 4.55 |
leak_check(c) | Bisakah karakter yang muncul belakangan mengubah prediksi sebelumnya? | Salah |
show_batch(c) | Input pelatihan satu dan targetnya, sebagai teks. | target = input digeser satu karakter ke kiri |
update_ratio(c) | Setelah langkah Adam pertama, seberapa jauh bobot bergerak relatif terhadap ukurannya. Bukan aturan Modul 8: rentang 0.001 sampai 0.1 itu untuk langkah SGD biasa. Langkah pertama Adam menggerakkan setiap bobot sekitar learning rate apa pun gradientnya, dan bobot ini mulai di dekat 0.02, jadi 0.01 / 0.02 menghasilkan sekitar 0.5. Bandingkan kasus dengan jalannya yang sehat ini, bukan dengan rentang Modul 8. | sekitar 0.5 |
block_change(c) | Seberapa banyak blok pertama mengubah setiap vektor di awal. | sekitar 0.3 |
Kata dan simbol di pelajaran ini
- ln(V)
- kerugian awal dari model yang menebak secara merata di atas V simbol: 4.55 untuk 95 karakter
- terlalu indah untuk jadi kenyataan
- loss training jauh lebih baik daripada jalannya yang sehat, loss unseen-text jauh lebih buruk
- ubah blok
- seberapa banyak satu blok mengubah vektor di awal; mendekati 1 berarti itu menggantinya
Tulis expected_start(V) dan my_leak_check(c), pakai _init, _logits dan DATA milik klinik sendiri. Mereka harus sesuai dengan probe klinik.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.