Silabus Pelajaran 207 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Gerbang: rencanakan sesi pelatihan (AI mati)

Kenapa ini penting Ini adalah alasan hukum penskalaan keputusan ada: kamu punya anggaran dan satu kesempatan. Rencanakan berdasarkan bukti.

Aturan

Gate: tutor AI mati. Kamu punya 3 x 10^10 FLOPs untuk satu kali jalan model karakter kursus, pada teks yang sama dengan grid. Pilih lebar (pangkat 2) dan jumlah token yang diizinkan anggaran tersebut. Gunakan grid yang dicatat sesukamu: fits, tabel, atau keduanya.

Pengecekan memprediksi kerugian dari pilihanmu dan pilihan terbaik dengan kecocokan dua variabel kursus, dan lulus jika pilihanmu dalam rentang 0.02 dari yang terbaik dan kamu menghabiskan anggaran (dalam 1%).

Kata dan simbol di pelajaran ini
hukum penskalaan
bagaimana loss turun saat weights, data atau compute bertambah, biasanya mengikuti power law menuju floor
token
di sini, satu prediksi: satu karakter
FLOPs (6 N D)
biaya pelatihan: sekitar 6 operasi per bobot per token
Giliranku

Atur width dan tokens.

AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.