Bobot, data, atau komputasi: apa yang menghambatnya?
Kenapa ini penting Mengeluarkan lebih banyak biaya untuk hal yang salah tidak akan menghasilkan apa pun. Model yang kekurangan data tidak akan membaik saat kamu membuatnya lebih besar; model kecil tidak akan membaik saat kamu memberinya lebih banyak data. Kisi ini menunjukkan keduanya, jika kamu tahu ke mana harus melihat.
Lihatlah sepanjang baris pada grid (satu lebar, data yang semakin banyak) dan ke bawah pada kolom (satu jumlah data, model yang semakin lebar).
A run adalah data-limited saat membuat model lebih lebar hampir tidak membantu (atau malah merugikan) pada jumlah data tersebut. Ini adalah model-limited saat lebih banyak data hampir tidak membantu pada lebar tersebut.
Kata dan simbol di pelajaran ini
- token
- di sini, satu prediksi: satu karakter
- data-limited, model-limited
- saat lebar lebih banyak, atau data lebih banyak, hampir tidak membantu
Isi gain_wider: untuk 8,000 tokens dan untuk 1.5 juta tokens, penurunan loss dari width 256 ke width 1024. Isi gain_more_data: untuk width 2 dan untuk width 1024, penurunan loss dari 512,000 ke 1.5 juta tokens. Lalu atur verdict untuk dua sudut: "data-limited" atau "model-limited".
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.