Müfredat 246 dersinden 211. · Modül 20: Eğitilmiş bir modeli ucuza uyarlamak
Modül 20: Eğitilmiş bir modeli ucuza uyarlamak

Ne kadar ince yeterli? (rank)

Neden önemli Rank LoRA'nın tek gerçek ayarıdır. Fazla ince olursa yeni görevi öğrenemez; bir noktadan sonra daha fazla rank neredeyse hiçbir şey satın almaz. O noktanın nerede durduğunu bedelini ödemeden önce tahmin etmeye değer.

Kurs LoRA'yı kod üzerinde 1'den 64'e ranklarda, ve tam ince ayarı, her biri 3 tohumla, 200 adım eğitti (adapt.recorded()). Her satırda rank, eğitilebilir ağırlıklar, kod kaybı (yeni) ve İngilizce kayıp (eski) var.

Eğriyi Tahmin Et

Onları okumadan önce 1, 4, 16 ve 64 ranklarındaki kod kaybını tahmin et. Dayanaklar: eğitimden önce 3.25; tam ince ayar yaklaşık 2.19.

Bu dersteki kelimeler ve semboller
ince ayar
eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
LoRA
düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
rank (r)
LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
Senin sıran

my_guess doldur (dört kod kaybı), sonra by_rank'i: 1, 4, 16, 64 rankları ve "full" için 3 tohum üzerinden ortalama kod kaybı ve ortalama İngilizce kayıp. 16'dan 64'e geçmek 1'den 4'e geçmenin kazandırdığının dörtte birinden azını kazandırıyorsa diminishing'i True'ya ayarla.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.