Latih ulang GPT dengan teks milikmu sendiri
Kenapa ini penting Ini adalah penggunaan sehari-hari: model umum, teks kamu, adapter murah. Tesnya adalah apakah ia mempelajari teks kamu dan tetap menyimpan sisanya.
Masukkan teksmu sendiri di my_text: catatan, esai, kode yang kamu tulis, minimal 5,000 karakter (defaultnya adalah potongan solusi Python supaya pelajaran berjalan seperti yang diberikan). Karakter yang belum pernah dilihat model akan dibuang. 20% terakhir disimpan untuk pengujian.
Latih LoRA, rank 8, untuk 60 langkah dari 8 jendela. Lanjut jika bagian teks yang disimpan skornya setidaknya 0.3 lebih baik daripada model dasar, dan loss bahasa Inggris naik kurang dari 0.5. Untuk skala, pada teks default: LoRA menaikkan bahasa Inggris sekitar 0.29, fine-tuning penuh sekitar 0.69, dan keduanya mempelajari teks dengan sama baiknya.
Kata dan simbol di pelajaran ini
- penalaan halus
- melanjutkan pelatihan model yang sudah dilatih pada data baru
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
- rank (r)
- betapa tipisnya dua matriks LoRA: (d_in + d_out) x r bobot yang dapat dilatih per matriks
Isi base_scores dan tuned_scores: (kerugian bahasa Inggris, kerugian pada 20% teks yang disimpan) sebelum dan sesudah melatih model LoRA.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.