Bir bütçe altında bir yöntem seçmek
Neden önemli Bu modüldeki her yöntem farklı bir sorunun doğru cevabıdır. Modaya göre seçmek para harcatır; ölçümlerden seçmek iştir.
Ölçtüklerin, tek bir yerde:
- Tam ince ayar (200 adım): kod 2.19, İngilizce 2.26. 107.072 ağırlığın hepsini eğitir; saklanacak modelin yepyeni bir kopyası.
- LoRA rank 4: kod 2.27, İngilizce 2.04. 8.192 eğitir; yalnızca onları saklar.
- 16 genişlikte bir öğrenciye damıtma (3000 adım): ağırlıkların yaklaşık 1/8'iyle İngilizce 1.98, tek başına eğitilenin 2.18'ine karşı.
- Nicemleme: 8 bit, boyutun dörtte biri, değişim yok; 4 bit, sekizde biri, +0.13.
Her durum için ölçümlerin desteklediği yöntemi seç.
Bu dersteki kelimeler ve semboller
- ince ayar
- eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- rank (r)
- LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
- damıtma
- küçük bir öğrenciyi büyük bir öğretmenin tam olasılıklarını kopyalamaya eğitmek
- sıcaklık (damıtma)
- ikinci seçimler daha çok sayılsın diye puanları softmax'tan önce bölmek
- nicemleme
- ağırlıkları birkaç adıma yuvarlayarak daha az bitte saklamak
Her durum için choice'u "full fine-tune", "LoRA", "distillation" ya da "quantisation"'dan biriyle doldur.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.