LoRA, kurulmuş
Neden önemli Onu bir kez kurmak üç şeyi apaçık yapar: neden zararsız başladığı, gradyanlarının neden ucuz olduğu, ve orijinal ağırlıkların neden hiç değişmediği.
Ev motorunda bir LoRA katmanı: ileri x W + (alpha / r) x A B'dir, W dondurulmuş. Motor A ve B'nin gradyanlarını kendisi hesaplar (Modül 4 motorun da hesaplardı); yalnızca W güncellenmemelidir, ki bunu sen kontrol edersin.
Bu dersteki kelimeler ve semboller
- LoRA
- düşük ranklı uyarlama: dondurulmuş bir ağırlık matrisi artı iki ince eğitilebilir matris, x W + (alpha / r) x A B
lora_forward(x, W, A, B, alpha)'yı motor işlemleriyle yaz. Sonra başlangıç kodundaki küçük katman üzerinde kontrol et: B sıfırken çıktı x W'ye eşit; bir geri geçişten sonra W'nin güncellemesi yok ama A ya da B'nin var; ve A'nın gradyanı itmeyle eşleşiyor. max_gap'i en büyük farka ayarla. Motor float32'de çalışır, bu yüzden h = 1e-3 ya da daha fazla it: 1e-4 ile kayıptaki değişim yuvarlamada kaybolur ve doğru bir gradyan yanlış görünür.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.