Jalankan kecilmu sendiri, berbayar
Kenapa ini penting Scaling adalah pernyataan tentang biaya: seberapa jauh lebih baik per unit komputasi. Jadi setiap jalannya butuh label harga, dan label harga pelatihan ternyata sangat sederhana.
Biaya pelatihan sekitar 6 operasi per bobot per token: 2 untuk forward pass (satu kali multiply, satu kali add untuk setiap bobot) dan sekitar 4 untuk backward pass (gradien untuk input dan untuk bobot). Itu adalah aturan FLOP Ledger yang sudah kamu gunakan sejak baris awal: scaling.flops(weights, tokens).
Di sini kamu melatih tiga model kecil secara langsung, masing-masing pada 32,000 token teks kursus, dengan selisih biaya sekitar 7 kali lipat.
Kata dan simbol di pelajaran ini
- token
- di sini, satu prediksi: satu karakter
- FLOPs (6 N D)
- biaya pelatihan: sekitar 6 operasi per bobot per token
Latih lebar 4, 16 dan 64 untuk 32,000 token masing-masing (scaling.train(model, 32_000) mengembalikan loss yang ditahan). Isi runs dengan, untuk setiap lebar, bobot, FLOPs dan loss. Lalu atur cost_ratio: berapa kali lipat biaya jalankan lebar-64 dibandingkan jalankan lebar-4.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.