Memilih metode di bawah anggaran
Kenapa ini penting Setiap metode di modul ini adalah jawaban yang tepat untuk pertanyaan yang berbeda. Memilih berdasarkan tren membuang uang; memilih berdasarkan pengukuran adalah tugasnya.
Apa yang kamu ukur, di satu tempat:
- Full fine-tuning (200 steps): kode 2.19, Inggris 2.26. Melatih semua 107,072 weights; salinan model baru yang utuh untuk disimpan.
- LoRA peringkat 4: kode 2.27, Inggris 2.04. Melatih 8,192; hanya menyimpan yang itu.
- Distillation untuk siswa 16-lebar (3000 langkah): Inggris 1.98 di sekitar 1/8 bobot, dibandingkan 2.18 dilatih sendiri.
- Quantisation: 8 bit, seperempat ukuran, tidak ada perubahan; 4 bit, seperdelapan, +0.13.
Untuk setiap situasi, pilih metode yang didukung oleh pengukuran.
Kata dan simbol di pelajaran ini
- penalaan halus
- melanjutkan pelatihan model yang sudah dilatih pada data baru
- LoRA
- low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
- rank (r)
- betapa tipisnya dua matriks LoRA: (d_in + d_out) x r trainable weights per matriks
- distillation
- melatih siswa kecil untuk menyalin probabilitas penuh guru besar
- suhu (distilasi)
- membagi skor sebelum softmax supaya pilihan kedua lebih berpengaruh
- kuantisasi
- menyimpan bobot dalam bit yang lebih sedikit dengan membulatkannya ke beberapa langkah
Isi choice dengan salah satu "full fine-tune", "LoRA", "distillation" atau "quantisation" untuk setiap situasi.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.