Silabus Pelajaran 205 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Prediksi run yang lebih besar, lalu lihat hasilnya

Kenapa ini penting Model yang hanya menjelaskan data yang kamu punya adalah ringkasan. Model yang memprediksi data yang tidak kamu punya adalah hukum, setidaknya untuk saat ini. Ini tesnya.

Kursus ini melatih satu ukuran lagi setelah grid selesai: lebar 2048, sekitar 375,000 weights, dua kali lipat yang terbesar di grid, pada 1.5 juta tokens penuh, 3 seeds. Kamu belum melihat loss nya.

Gunakan power law dari pelajaran 3 (satu lebar setiap saat, 1.5 juta token) untuk memprediksinya. Masukkan angka tersebut ke dalam kode, lalu buka hasil yang sudah dicatat.

Kata dan simbol di pelajaran ini
hukum pangkat
y = A x^-alpha: garis lurus pada sumbu log-log
token
di sini, satu prediksi: satu karakter
Giliranku

Sesuaikan grid 1,5 juta token dengan scaling.fit_power_law, atur prediction untuk lebar 2048 (bobot scaling.params_of(2048)), lalu atur actual (rata-rata dari scaling.recorded_bigger()) dan error. Bandingkan dengan error insting kamu di pelajaran 1 dengan mengatur better_than_my_gut.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.