Parametreler nerede
Neden önemli "7 milyar parametreli bir model" sadece daha büyük bir d'de bu aritmetiktir. Sayabilmek belleğin nereye gittiğini ve genişliğin neden pahalı olduğunu söyler.
Blok başına büyük matrisler Wq, Wk, Wv ve Wo (dört tane d'ye d: 4d kare) ve ileri beslemedir (d'ye 4d ve 4d'ye d: 8d kare). Bu 12 d kare eder, artı katman normalleştirmeleri için d uzunluğunda birkaç vektör.
Blokların dışında: token gömmeleri (V'ye d, bu modelde çıktı katmanı olarak da yeniden kullanılıyor), konum vektörleri (ctx'e d) ve son katman normalleştirmesi.
d'yi iki katına çıkarmak blok parametrelerini 4 ile çarpar, ama süreyi 4 ile çarpmaz. Kaydedilmiş 128 genişlikteki çalıştırmalar ortalamada 64 genişliğin yaklaşık 2.3 katı sürdü (çalıştırmadan çalıştırmaya 1.1 ile 4 kat arası: paylaşılan bir makinede duvar saati süresi gürültülüdür), ve 32 genişlik 64'ten hızlı değildi. Bu kadar küçük modellerde adım başına sabit maliyetler (Python, küçük diziler) sürenin büyük bir kısmıdır; 4 kat ancak matris çarpımları hâkim olunca görünür.
Bu dersteki kelimeler ve semboller
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
- konum vektörü
- dikkat sırayı ayırt edebilsin diye her token'a eklenir
- katman normalleştirmesi
- her vektörü kendi başına normalleştir: ortalama 0, yayılım 1, sonra çarpı g artı b
- 12 d kare
- bir bloğun matrislerindeki parametreler
Bu GPT'nin tam parametre sayısını döndüren count(V, d, layers, ctx) yaz (her bloğun 12 d kare + 4d'si var: g ve b'li iki katman normalleştirmesi). Gerçek modellerle eşleşmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.