Büyük dondurulmuş bir matris artı iki ince matris (Gör)
Neden önemli LoRA (Hu vd. 2021) bugün çoğu modelin özelleştirilme biçimidir, çünkü ağırlıkların minicik bir kısmını eğitir ve orijinale dokunmaz. Fikir tek bir resme sığar.
d_in'e d_out bir W ağırlık matrisi al. Onu dondur. Yanına iki ince eğitilebilir matris koy: küçük bir rank r ile A (d_in'e r) ve B (r'ye d_out). Katman şunu hesaplar
x W + (alpha / r) x A B
A B tam bir d_in'e d_out matristir, W'ye bir değişiklik, ama yalnızca (d_in + d_out) x r sayıdan kurulur. B sıfırda başlar, bu yüzden başta model tam olarak orijinaldir.
GPT'nin 2 bloğunun her birinde dört ağırlık matrisi var: qkv (64'e 192), o (64'e 64), w1 (64'e 256) ve w2 (256'ya 64). Sahneyi izle, sonra say.
Bu dersteki kelimeler ve semboller
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
- rank (r)
- LoRA'nın iki matrisinin ne kadar ince olduğu: matris başına (d_in + d_out) x r eğitilebilir ağırlık
lora_weights(shapes, r) yaz: r rankında bir (d_in, d_out) şekil listesi için LoRA'nın eklediği eğitilebilir ağırlık sayısı. shapes'i GPT'nin 8 hedef matrisiyle doldur, sonra 1, 4, 16 ve 64 rankları için counts'u, ve overtakes'i ayarla: LoRA'nın bütün modelden (107.072) daha fazla ağırlık eğittiği bu rankların en küçüğü.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.