Silabus Pelajaran 201 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Jalankan kecilmu sendiri, berbayar

Kenapa ini penting Scaling adalah pernyataan tentang biaya: seberapa jauh lebih baik per unit komputasi. Jadi setiap jalannya butuh label harga, dan label harga pelatihan ternyata sangat sederhana.

Biaya pelatihan sekitar 6 operasi per bobot per token: 2 untuk forward pass (satu kali multiply, satu kali add untuk setiap bobot) dan sekitar 4 untuk backward pass (gradien untuk input dan untuk bobot). Itu adalah aturan FLOP Ledger yang sudah kamu gunakan sejak baris awal: scaling.flops(weights, tokens).

Di sini kamu melatih tiga model kecil secara langsung, masing-masing pada 32,000 token teks kursus, dengan selisih biaya sekitar 7 kali lipat.

Kata dan simbol di pelajaran ini
token
di sini, satu prediksi: satu karakter
FLOPs (6 N D)
biaya pelatihan: sekitar 6 operasi per bobot per token
Giliranku

Latih lebar 4, 16 dan 64 untuk 32,000 token masing-masing (scaling.train(model, 32_000) mengembalikan loss yang ditahan). Isi runs dengan, untuk setiap lebar, bobot, FLOPs dan loss. Lalu atur cost_ratio: berapa kali lipat biaya jalankan lebar-64 dibandingkan jalankan lebar-4.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.