Müfredat 246 dersinden 152. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Parametreler nerede

Neden önemli "7 milyar parametreli bir model" sadece daha büyük bir d'de bu aritmetiktir. Sayabilmek belleğin nereye gittiğini ve genişliğin neden pahalı olduğunu söyler.

Blok başına büyük matrisler Wq, Wk, Wv ve Wo (dört tane d'ye d: 4d kare) ve ileri beslemedir (d'ye 4d ve 4d'ye d: 8d kare). Bu 12 d kare eder, artı katman normalleştirmeleri için d uzunluğunda birkaç vektör.

Blokların dışında: token gömmeleri (V'ye d, bu modelde çıktı katmanı olarak da yeniden kullanılıyor), konum vektörleri (ctx'e d) ve son katman normalleştirmesi.

d'yi iki katına çıkarmak blok parametrelerini 4 ile çarpar, ama süreyi 4 ile çarpmaz. Kaydedilmiş 128 genişlikteki çalıştırmalar ortalamada 64 genişliğin yaklaşık 2.3 katı sürdü (çalıştırmadan çalıştırmaya 1.1 ile 4 kat arası: paylaşılan bir makinede duvar saati süresi gürültülüdür), ve 32 genişlik 64'ten hızlı değildi. Bu kadar küçük modellerde adım başına sabit maliyetler (Python, küçük diziler) sürenin büyük bir kısmıdır; 4 kat ancak matris çarpımları hâkim olunca görünür.

Bu dersteki kelimeler ve semboller
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
konum vektörü
dikkat sırayı ayırt edebilsin diye her token'a eklenir
katman normalleştirmesi
her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
12 d kare
bir bloğun matrislerindeki parametreler
Senin sıran

Bu GPT'nin tam parametre sayısını döndüren count(V, d, layers, ctx) yaz (her bloğun 12 d kare + 4d'si var: g ve b'li iki katman normalleştirmesi). Gerçek modellerle eşleşmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.