Ne kadar ince yeterli? (rank)
Neden önemli Rank LoRA'nın tek gerçek ayarıdır. Fazla ince olursa yeni görevi öğrenemez; bir noktadan sonra daha fazla rank neredeyse hiçbir şey satın almaz. O noktanın nerede durduğunu bedelini ödemeden önce tahmin etmeye değer.
Kurs LoRA'yı kod üzerinde 1'den 64'e ranklarda, ve tam ince ayarı, her biri 3 tohumla, 200 adım eğitti (adapt.recorded()). Her satırda rank, eğitilebilir ağırlıklar, kod kaybı (yeni) ve İngilizce kayıp (eski) var.
Eğriyi Tahmin Et
Onları okumadan önce 1, 4, 16 ve 64 ranklarındaki kod kaybını tahmin et. Dayanaklar: eğitimden önce 3.25; tam ince ayar yaklaşık 2.19.
Bu dersteki kelimeler ve semboller
- ince ayar
- eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- rank (r)
- LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
my_guess doldur (dört kod kaybı), sonra by_rank'i: 1, 4, 16, 64 rankları ve "full" için 3 tohum üzerinden ortalama kod kaybı ve ortalama İngilizce kayıp. 16'dan 64'e geçmek 1'den 4'e geçmenin kazandırdığının dörtte birinden azını kazandırıyorsa diminishing'i True'ya ayarla.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.