Cara terbaik menggunakan anggaran tetap
Kenapa ini penting Dengan anggaran komputasi C yang tetap, model yang lebih besar melihat lebih sedikit token (C = 6 N D). Terlalu besar dan ia kekurangan data; terlalu kecil dan ia penuh sebelum anggaran habis. Pada 2022 perhitungan ini (makalah "Chinchilla") menunjukkan bahwa sebagian besar model besar saat itu jauh terlalu besar untuk data tempat mereka dilatih.
Terapkan kedua efek sekaligus:
loss = E + A / N^alpha + B / D^beta
scaling.fit_2d cocok untuk semua 150 jalannya. Lalu untuk anggaran C, setiap lebar N menetapkan D = C / (6 N), dan rumusnya memprediksi kerugian: pilih lebar dengan prediksi terendah. scaling.params_of(width) memberikan bobot sebuah lebar.
Di mana field sekarang Hoffmann et al. (2022, "Chinchilla") menyesuaikan bentuk dua variabel yang sama ini ke model bahasa besar dan menemukan pembagian optimal komputasi pada sekitar 20 token pelatihan per bobot. Lab sekarang sering melatih jauh melampauinya (jauh lebih banyak token untuk model yang lebih kecil), karena model yang lebih kecil lebih murah setiap kali ia menjawab: optimal komputasi untuk pelatihan bukan optimal untuk penggunaan. Dan saat mereka membuat model lebih lebar, mereka menskalakan ulang bobot awal dan learning rate per layer (muP, Yang et al. 2022) agar learning rate terbaik yang ditemukan pada model kecil tetap berfungsi pada model besar: masalah yang diukur oleh pelajaran "model yang lebih lebar butuh langkah lebih kecil" di Module 13.
Kata dan simbol di pelajaran ini
- exponent (alpha, beta)
- seberapa cepat loss turun dengan lebih banyak weights (alpha) atau lebih banyak data (beta)
- token
- di sini, satu prediksi: satu karakter
- FLOPs (6 N D)
- biaya pelatihan: sekitar 6 operasi per bobot per token
- hitung-optimal
- pembagian anggaran tetap antara ukuran model dan data yang memberikan loss terendah
Sesuaikan grid ke dalam f. Tulis plan(f, budget) yang mengembalikan lebar (pangkat 2 dari 2 sampai 4096) dengan prediksi loss terendah. Isi choice untuk budget 1e9, 1e10 dan 1e11 FLOPs.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.