Gerbang: rencanakan sesi pelatihan (AI mati)
Kenapa ini penting Ini adalah alasan hukum penskalaan keputusan ada: kamu punya anggaran dan satu kesempatan. Rencanakan berdasarkan bukti.
Gate: tutor AI mati. Kamu punya 3 x 10^10 FLOPs untuk satu kali jalan model karakter kursus, pada teks yang sama dengan grid. Pilih lebar (pangkat 2) dan jumlah token yang diizinkan anggaran tersebut. Gunakan grid yang dicatat sesukamu: fits, tabel, atau keduanya.
Pengecekan memprediksi kerugian dari pilihanmu dan pilihan terbaik dengan kecocokan dua variabel kursus, dan lulus jika pilihanmu dalam rentang 0.02 dari yang terbaik dan kamu menghabiskan anggaran (dalam 1%).
Kata dan simbol di pelajaran ini
- hukum penskalaan
- bagaimana loss turun saat weights, data atau compute bertambah, biasanya mengikuti power law menuju floor
- token
- di sini, satu prediksi: satu karakter
- FLOPs (6 N D)
- biaya pelatihan: sekitar 6 operasi per bobot per token
Atur width dan tokens.
AI mati: tidak ada tutor, petunjuk atau solusi lengkap untuk yang ini. Hanya pemikiranmu sendiri.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.