Silabus Pelajaran 216 dari 246 · Modul 20: Mengadaptasi model yang sudah dilatih dengan murah
Modul 20: Mengadaptasi model yang sudah dilatih dengan murah

Memilih metode di bawah anggaran

Kenapa ini penting Setiap metode di modul ini adalah jawaban yang tepat untuk pertanyaan yang berbeda. Memilih berdasarkan tren membuang uang; memilih berdasarkan pengukuran adalah tugasnya.

Apa yang kamu ukur, di satu tempat:

  • Full fine-tuning (200 steps): kode 2.19, Inggris 2.26. Melatih semua 107,072 weights; salinan model baru yang utuh untuk disimpan.
  • LoRA peringkat 4: kode 2.27, Inggris 2.04. Melatih 8,192; hanya menyimpan yang itu.
  • Distillation untuk siswa 16-lebar (3000 langkah): Inggris 1.98 di sekitar 1/8 bobot, dibandingkan 2.18 dilatih sendiri.
  • Quantisation: 8 bit, seperempat ukuran, tidak ada perubahan; 4 bit, seperdelapan, +0.13.

Untuk setiap situasi, pilih metode yang didukung oleh pengukuran.

Kata dan simbol di pelajaran ini
penalaan halus
melanjutkan pelatihan model yang sudah dilatih pada data baru
LoRA
low-rank adaptation: matriks bobot yang dibekukan ditambah dua matriks tipis yang bisa dilatih, x W + (alpha / r) x A B
rank (r)
betapa tipisnya dua matriks LoRA: (d_in + d_out) x r trainable weights per matriks
distillation
melatih siswa kecil untuk menyalin probabilitas penuh guru besar
suhu (distilasi)
membagi skor sebelum softmax supaya pilihan kedua lebih berpengaruh
kuantisasi
menyimpan bobot dalam bit yang lebih sedikit dengan membulatkannya ke beberapa langkah
Giliranku

Isi choice dengan salah satu "full fine-tune", "LoRA", "distillation" atau "quantisation" untuk setiap situasi.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.