Prediksi run yang lebih besar, lalu lihat hasilnya
Kenapa ini penting Model yang hanya menjelaskan data yang kamu punya adalah ringkasan. Model yang memprediksi data yang tidak kamu punya adalah hukum, setidaknya untuk saat ini. Ini tesnya.
Kursus ini melatih satu ukuran lagi setelah grid selesai: lebar 2048, sekitar 375,000 weights, dua kali lipat yang terbesar di grid, pada 1.5 juta tokens penuh, 3 seeds. Kamu belum melihat loss nya.
Gunakan power law dari pelajaran 3 (satu lebar setiap saat, 1.5 juta token) untuk memprediksinya. Masukkan angka tersebut ke dalam kode, lalu buka hasil yang sudah dicatat.
Kata dan simbol di pelajaran ini
- hukum pangkat
- y = A x^-alpha: garis lurus pada sumbu log-log
- token
- di sini, satu prediksi: satu karakter
Sesuaikan grid 1,5 juta token dengan scaling.fit_power_law, atur prediction untuk lebar 2048 (bobot scaling.params_of(2048)), lalu atur actual (rata-rata dari scaling.recorded_bigger()) dan error. Bandingkan dengan error insting kamu di pelajaran 1 dengan mengatur better_than_my_gut.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.