Belajar yang baru, melupakan yang lama
Kenapa ini penting Setiap model yang berguna akan diadaptasi: ke dokumen perusahaan, gaya coding, atau bahasa. Cara yang jelas, terus melatih pada data baru, punya biaya yang tidak terlihat sampai terlambat: model menjadi lebih buruk pada apa yang sudah diketahuinya.
GPT rekaman kursus ini belajar bahasa Inggris dari teks pelajaran kursus. Tugas barunya: kode Python, yang diambil dari solusi pengerjaan kursus Python. Sebelum pelatihan, skornya 1.70 pada bahasa Inggris yang disisihkan dan 3.25 pada kode yang disisihkan (ia hampir belum melihat kode).
Latih setiap weight pada code selama 60 steps dari 8 windows (jumlah maksimal yang muat dalam satu pelajaran di browser) dan ukur keduanya lagi. Perhatikan scenenya dulu: kedua loss, langkah demi langkah, untuk fine-tune penuh ini dan untuk metode lebih murah yang akan kamu buat di modul ini.
Prediksi dulu: setelah 60 langkah pada kode, apakah English loss akan tetap sama, atau naik?
Atur my_guess ke "same" atau "rises". Isi before dan after dengan adapt.losses(model) (English loss, code loss) di sekitar adapt.train(model, code_train, steps=60, batch=8).
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.