GPT'yi kendi metnin üzerinde ince ayarla
Neden önemli Gündelik kullanım budur: genel bir model, senin metnin, ucuz bir adaptör. Test, metnini öğrenip geri kalanı koruyup korumadığıdır.
Kendi metnini my_text'e koy: notlar, bir deneme, yazdığın kod, en az 5.000 karakter (varsayılan, ders verildiği gibi çalışsın diye Python çözümlerinden bir dilim). Modelin hiç görmediği karakterler atılır. Son %20 üzerinde test etmek için ayrılır.
LoRA'yı rank 8 ile, 8 pencerelik 60 adım eğit. Metninin ayrılmış kısmı temel modelin aldığından en az 0.3 daha iyi puan aldığında ve İngilizce kayıp 0.5'ten az yükseldiğinde geçersin. Ölçek için, varsayılan metinde: LoRA İngilizceyi yaklaşık 0.29, tam ince ayar yaklaşık 0.69 yükseltiyor, ve ikisi de metni aşağı yukarı eşit iyi öğreniyor.
Bu dersteki kelimeler ve semboller
- ince ayar
- eğitilmiş bir modeli yeni veri üzerinde eğitmeye devam etmek
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- rank (r)
- LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
base_scores ve tuned_scores'u doldur: LoRA modelini eğitmeden önce ve sonra (İngilizce kayıp, metninin ayrılmış %20'sindeki kayıp).
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.