Müfredat 246 dersinden 216. · Modül 20: Eğitilmiş bir modeli ucuza uyarlamak
Modül 20: Eğitilmiş bir modeli ucuza uyarlamak

Bir bütçe altında bir yöntem seçmek

Neden önemli Bu modüldeki her yöntem farklı bir sorunun doğru cevabıdır. Modaya göre seçmek para harcatır; ölçümlerden seçmek iştir.

Ölçtüklerin, tek bir yerde:

  • Tam ince ayar (200 adım): kod 2.19, İngilizce 2.26. 107.072 ağırlığın hepsini eğitir; saklanacak modelin yepyeni bir kopyası.
  • LoRA rank 4: kod 2.27, İngilizce 2.04. 8.192 eğitir; yalnızca onları saklar.
  • 16 genişlikte bir öğrenciye damıtma (3000 adım): ağırlıkların yaklaşık 1/8'iyle İngilizce 1.98, tek başına eğitilenin 2.18'ine karşı.
  • Nicemleme: 8 bit, boyutun dörtte biri, değişim yok; 4 bit, sekizde biri, +0.13.

Her durum için ölçümlerin desteklediği yöntemi seç.

Bu dersteki kelimeler ve semboller
ince ayar
eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
LoRA
düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
rank (r)
LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
damıtma
küçük bir öğrenciyi büyük bir öğretmenin tam olasılıklarını kopyalamaya eğitmek
sıcaklık (damıtma)
ikinci seçimler daha çok sayılsın diye puanları softmax'tan önce bölmek
nicemleme
ağırlıkları birkaç adıma yuvarlayarak daha az bitte saklamak
Senin sıran

Her durum için choice'u "full fine-tune", "LoRA", "distillation" ya da "quantisation"'dan biriyle doldur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.