Nedensel maske: gözetleme yok
Neden önemli Bir sonraki karakteri tahmin etmek için eğitilen bir model bir sonraki karakteri görmemelidir. Maske olmadan cevabı basitçe kopyalayabilir, eğitimde harika görünebilir ve sonra üretirken başarısız olur, çünkü üretim zamanında gelecek henüz yoktur.
Gör
Animasyonu oynat. i konumu yalnızca 0'dan i'ye kadar olan konumlara dikkat edebilir. Softmax'tan önce köşegenin üstündeki her puan eksi sonsuza ayarlanır, böylece ağırlığı tam olarak 0 olur. Ağırlıklar sonra bir alt üçgen oluşturur.
Sızıntı testi doğrudandır: j konumundaki bir karakteri değiştir, ve modelin j'den önceki konumlar için hesapladığı hiçbir şey değişmemelidir.
Kurs 32 genişlikte bir GPT'yi maskesiz 1.200 adım eğittiğinde eğitim kaybı maskeliye karşı 1.51'e karşı 0.10'a düştü: cevabı bir sonraki konumdan neredeyse mükemmel şekilde kopyalamayı öğrenmişti. Dürüstçe ölçüldüğünde, görülmemiş metinde ve ileriye bakmasına izin vermeden, kaybı 2.3'e karşı 8.6'ydı. Düşük sayı bir yalandı: model çok daha kötüydü. (Başlarda, 400 adımda, iki çalıştırma hâlâ benzer görünüyordu, 2.24'e karşı 2.28. Kopyalamayı keşfetmek biraz zaman alır, ve sonra işi ele geçirir.)
Bu dersteki kelimeler ve semboller
- dikkat
- sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
- nedensel maske
- köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
4. dersteki gibi ama maskeli causal_attention(X, Wq, Wk, Wv) yaz. Sonra leaks(f): rastgele bir X'in son satırını değiştirmek f'nin çıktısının daha önceki herhangi bir satırını değiştiriyorsa True döndür. Burada f, seninki gibi f(X, Wq, Wk, Wv) şeklinde çağrılan, (output, weights) döndüren herhangi bir dikkat fonksiyonudur; rastgele X ve ağırlıkları leaks içinde yap.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.