Silabus Pelajaran 203 dari 246 · Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)
Modul 19: Lebih besar, dan seberapa jauh lebih baik (hukum penskalaan)

Bobot, data, atau komputasi: apa yang menghambatnya?

Kenapa ini penting Mengeluarkan lebih banyak biaya untuk hal yang salah tidak akan menghasilkan apa pun. Model yang kekurangan data tidak akan membaik saat kamu membuatnya lebih besar; model kecil tidak akan membaik saat kamu memberinya lebih banyak data. Kisi ini menunjukkan keduanya, jika kamu tahu ke mana harus melihat.

Lihatlah sepanjang baris pada grid (satu lebar, data yang semakin banyak) dan ke bawah pada kolom (satu jumlah data, model yang semakin lebar).

A run adalah data-limited saat membuat model lebih lebar hampir tidak membantu (atau malah merugikan) pada jumlah data tersebut. Ini adalah model-limited saat lebih banyak data hampir tidak membantu pada lebar tersebut.

Kata dan simbol di pelajaran ini
token
di sini, satu prediksi: satu karakter
data-limited, model-limited
saat lebar lebih banyak, atau data lebih banyak, hampir tidak membantu
Giliranku

Isi gain_wider: untuk 8,000 tokens dan untuk 1.5 juta tokens, penurunan loss dari width 256 ke width 1024. Isi gain_more_data: untuk width 2 dan untuk width 1024, penurunan loss dari 512,000 ke 1.5 juta tokens. Lalu atur verdict untuk dua sudut: "data-limited" atau "model-limited".

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.