Tebak model yang lebih besar
Kenapa ini penting Melatih model besar memakan waktu berbulan-bulan dan biaya jutaan. Sebelum siapa pun mengeluarkan biaya itu, mereka memprediksi seberapa bagus hasilnya dari percobaan kecil. Fakta mengejutkan di balik ledakan AI adalah prediksi tersebut biasanya berhasil. Pertama, lihat seberapa bagus intuisi kamu sendiri.
Model di modul ini adalah model karakter kecil: mereka membaca 8 karakter dan memprediksi karakter berikutnya. Satu angka menentukan ukurannya, yaitu width dari hidden layer. Kursus ini melatih 150 model (10 widths, 5 jumlah data, 3 seeds masing-masing) pada 1,5 juta karakter dari teks pelajaran sendiri, dan mengukur loss setiap model pada 100.000 karakter yang belum pernah mereka lihat.
ModelA width-128 (24,401 weights) yang dilatih pada 1,5 juta token mencapai loss held-out sekitar 1,86. token di sini adalah satu prediksi: satu karakter.
Sebelum kamu lihat: model lebar-1024 punya bobot 7.7 kali lipat. Dilatih pada data yang sama, berapa loss yang akan dicapai? Untuk skala: memprediksi setiap karakter dengan skor peluang yang sama menghasilkan 4.42, dan model terbaik dari ini mendapatkan di bawah 2.
Kata dan simbol di pelajaran ini
- token
- di sini, satu prediksi: satu karakter
Atur my_guess ke prediksi held-out loss kamu untuk width 1024 pada 1.5 juta token. Lalu atur actual dari recorded runs (rata-rata dari 3 seeds), dan error ke seberapa jauh selisihnya (actual dikurangi guess).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.