Model yang lebih lebar butuh langkah yang lebih kecil
Kenapa ini penting Learning rate yang cocok untuk model kecil bisa merusak model yang lebih besar. Tim yang melatih model besar mengeluarkan uang sungguhan untuk mencari tahu hal ini; kamu bisa melihatnya dari rekaman run.
Eksperimen gpt-width-lr yang dicatat melatih GPT kecil pada lebar 32, 64, dan 128, masing-masing dengan learning rates 0.001, 0.003, dan 0.01, selama 2,000 steps, dengan tiga seeds masing-masing, dan mengukur loss pada teks held-out di akhir.
Prediksi sebelum kamu lihat: learning rate mana yang terbaik untuk model terlebar, 128?
Kata dan simbol di pelajaran ini
- query, key, value
- apa yang dicari oleh sebuah posisi; apa yang ditawarkan setiap posisi untuk dicocokkan; apa yang ia serahkan
Atur my_guess ke salah satu 0.001, 0.003 atau 0.01, lalu isi mean_loss: (width, lr) dengan rata-rata final held-out loss dari ketiga seed (exp.seeds(d=..., lr=...) memberikan tiga jalannya; final held-out loss tiap jalan adalah run.val_loss[-1][1]). Lalu isi best_lr: width ke learning rate dengan rata-rata terendah.
Lalu gunakan aturan noise Modul 9 untuk menentukan pengaturan mana yang benar-benar berbeda. Dengan tiga seed masing-masing, dua rata-rata berbeda secara nyata hanya jika selisihnya lebih dari sekitar 2 × s × sqrt(2/3), di mana s adalah penyebaran seed yang lebih besar dari dua pengaturan tersebut (np.std dari ketiga nilai). Apapun yang lebih dekat adalah seri.
Atur ties: width ke daftar learning rates yang setara dengan yang terbaik untuk width tersebut (termasuk yang terbaik).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.