Seberapa tipis yang cukup? (rank)
Kenapa ini penting Rank adalah satu-satunya pengaturan nyata LoRA. Terlalu tipis dan ia tidak bisa mempelajari tugas baru; setelah titik tertentu, rank yang lebih tinggi hampir tidak memberikan apa-apa. Di mana titik itu berada layak untuk diprediksi sebelum kamu membayarnya.
Kursus ini melatih LoRA pada kode dengan rank 1 sampai 64, dan full fine-tuning, masing-masing 3 seed, 200 langkah (adapt.recorded()). Setiap baris berisi rank, trainable weights, code loss (baru) dan English loss (lama).
Tebak Kurvanya
Sebelum membacanya, tebak code loss pada peringkat 1, 4, 16 dan 64. Anchors: sebelum training 3.25; full fine-tuning sekitar 2.19.
Kata dan simbol di pelajaran ini
- penalaan halus
- melanjutkan pelatihan model yang sudah dilatih pada data baru
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
- rank (r)
- betapa tipisnya dua matriks LoRA: (d_in + d_out) x r bobot yang dapat dilatih per matriks
Isi my_guess (empat code losses), lalu by_rank: untuk rank 1, 4, 16, 64 dan "full", rata-rata code loss dan rata-rata English loss dari 3 seed. Atur diminishing ke True jika perubahan dari rank 16 ke 64 menghasilkan kurang dari seperempat dari apa yang didapat dari 1 ke 4.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.