Müfredat 246 dersinden 212. · Modül 20: Eğitilmiş bir modeli ucuza uyarlamak
Modül 20: Eğitilmiş bir modeli ucuza uyarlamak

GPT'yi kendi metnin üzerinde ince ayarla

Neden önemli Gündelik kullanım budur: genel bir model, senin metnin, ucuz bir adaptör. Test, metnini öğrenip geri kalanı koruyup korumadığıdır.

Kendi metnini my_text'e koy: notlar, bir deneme, yazdığın kod, en az 5.000 karakter (varsayılan, ders verildiği gibi çalışsın diye Python çözümlerinden bir dilim). Modelin hiç görmediği karakterler atılır. Son %20 üzerinde test etmek için ayrılır.

LoRA'yı rank 8 ile, 8 pencerelik 60 adım eğit. Metninin ayrılmış kısmı temel modelin aldığından en az 0.3 daha iyi puan aldığında ve İngilizce kayıp 0.5'ten az yükseldiğinde geçersin. Ölçek için, varsayılan metinde: LoRA İngilizceyi yaklaşık 0.29, tam ince ayar yaklaşık 0.69 yükseltiyor, ve ikisi de metni aşağı yukarı eşit iyi öğreniyor.

Bu dersteki kelimeler ve semboller
ince ayar
eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
LoRA
düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
rank (r)
LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
Senin sıran

base_scores ve tuned_scores'u doldur: LoRA modelini eğitmeden önce ve sonra (İngilizce kayıp, metninin ayrılmış %20'sindeki kayıp).

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.