Müfredat 246 dersinden 151. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Elle tek bir transformer bloğu

Neden önemli Bir GPT üst üste konmuş aynı bloktur. Düz NumPy ile bir tane yaz, kaydedilmiş modelin gerçek ağırlıklarıyla çalıştır, ve sayıların modelin kendi sayılarıyla eşleşiyorsa bir transformer'ın her satırını anlıyorsun.

Gör

Animasyonu oynat. Bir blok h'yi (t konum çarpı d) alır ve her biri h'ye geri eklenen iki şey yapar (Modül 6'nın artık yolu):

h = h + Wo-mixed multi-head causal attention of layer_norm(h)
h = h + feed-forward of layer_norm(h)        # relu(x @ W1) @ W2, W1 widens d to 4d

Kaydedilmiş modelin adları: qkv{l} Wq, Wk ve Wv'yi yan yana tutar (d'ye 3d), o{l} Wo'dur, g1{l}, b1{l} ve g2{l}, b2{l} iki katman normalleştirmesidir, w1{l}, w2{l} ileri beslemedir. h kafası Q, K ve V'nin her birinin h çarpı 16'dan (h + 1) çarpı 16'ya sütunlarını kullanır.

Bu dersteki kelimeler ve semboller
dikkat
sorgu-anahtar puanlarının softmax'ı, değerlerin ortalamasını almak için kullanılır
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
katman normalleştirmesi
her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
transformer bloğu
h + attention(norm(h)), sonra h + feed-forward(norm(h))
Senin sıran

Tek bir dizi için (h t'ye d) block(h, l) yaz. Tam model senin için birleştirilmiş; logitleri model.logits ile eşleşmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.