Müfredat 246 dersinden 145. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Nedensel maske: gözetleme yok

Neden önemli Bir sonraki karakteri tahmin etmek için eğitilen bir model bir sonraki karakteri görmemelidir. Maske olmadan cevabı basitçe kopyalayabilir, eğitimde harika görünebilir ve sonra üretirken başarısız olur, çünkü üretim zamanında gelecek henüz yoktur.

Gör

Animasyonu oynat. i konumu yalnızca 0'dan i'ye kadar olan konumlara dikkat edebilir. Softmax'tan önce köşegenin üstündeki her puan eksi sonsuza ayarlanır, böylece ağırlığı tam olarak 0 olur. Ağırlıklar sonra bir alt üçgen oluşturur.

Sızıntı testi doğrudandır: j konumundaki bir karakteri değiştir, ve modelin j'den önceki konumlar için hesapladığı hiçbir şey değişmemelidir.

Kurs 32 genişlikte bir GPT'yi maskesiz 1.200 adım eğittiğinde eğitim kaybı maskeliye karşı 1.51'e karşı 0.10'a düştü: cevabı bir sonraki konumdan neredeyse mükemmel şekilde kopyalamayı öğrenmişti. Dürüstçe ölçüldüğünde, görülmemiş metinde ve ileriye bakmasına izin vermeden, kaybı 2.3'e karşı 8.6'ydı. Düşük sayı bir yalandı: model çok daha kötüydü. (Başlarda, 400 adımda, iki çalıştırma hâlâ benzer görünüyordu, 2.24'e karşı 2.28. Kopyalamayı keşfetmek biraz zaman alır, ve sonra işi ele geçirir.)

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
nedensel maske
köşegenin üstündeki puanlar eksi sonsuza ayarlanır: hiçbir konum geleceği görmez
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Senin sıran

4. dersteki gibi ama maskeli causal_attention(X, Wq, Wk, Wv) yaz. Sonra leaks(f): rastgele bir X'in son satırını değiştirmek f'nin çıktısının daha önceki herhangi bir satırını değiştiriyorsa True döndür. Burada f, seninki gibi f(X, Wq, Wk, Wv) şeklinde çağrılan, (output, weights) döndüren herhangi bir dikkat fonksiyonudur; rastgele X ve ağırlıkları leaks içinde yap.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.