Silabus Pelajaran 204 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Cara terbaik menggunakan anggaran tetap

Kenapa ini penting Dengan anggaran komputasi C yang tetap, model yang lebih besar melihat lebih sedikit token (C = 6 N D). Terlalu besar dan ia kekurangan data; terlalu kecil dan ia penuh sebelum anggaran habis. Pada 2022 perhitungan ini (makalah "Chinchilla") menunjukkan bahwa sebagian besar model besar saat itu jauh terlalu besar untuk data tempat mereka dilatih.

Terapkan kedua efek sekaligus:

loss = E + A / N^alpha + B / D^beta

scaling.fit_2d cocok untuk semua 150 jalannya. Lalu untuk anggaran C, setiap lebar N menetapkan D = C / (6 N), dan rumusnya memprediksi kerugian: pilih lebar dengan prediksi terendah. scaling.params_of(width) memberikan bobot sebuah lebar.

Di mana field sekarang Hoffmann et al. (2022, "Chinchilla") menyesuaikan bentuk dua variabel yang sama ini ke model bahasa besar dan menemukan pembagian optimal komputasi pada sekitar 20 token pelatihan per bobot. Lab sekarang sering melatih jauh melampauinya (jauh lebih banyak token untuk model yang lebih kecil), karena model yang lebih kecil lebih murah setiap kali ia menjawab: optimal komputasi untuk pelatihan bukan optimal untuk penggunaan. Dan saat mereka membuat model lebih lebar, mereka menskalakan ulang bobot awal dan learning rate per layer (muP, Yang et al. 2022) agar learning rate terbaik yang ditemukan pada model kecil tetap berfungsi pada model besar: masalah yang diukur oleh pelajaran "model yang lebih lebar butuh langkah lebih kecil" di Module 13.

Kata dan simbol di pelajaran ini
exponent (alpha, beta)
seberapa cepat loss turun dengan lebih banyak weights (alpha) atau lebih banyak data (beta)
token
di sini, satu prediksi: satu karakter
FLOPs (6 N D)
biaya pelatihan: sekitar 6 operasi per bobot per token
hitung-optimal
pembagian anggaran tetap antara ukuran model dan data yang memberikan loss terendah
Giliranku

Sesuaikan grid ke dalam f. Tulis plan(f, budget) yang mengembalikan lebar (pangkat 2 dari 2 sampai 4096) dengan prediksi loss terendah. Isi choice untuk budget 1e9, 1e10 dan 1e11 FLOPs.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.