Müfredat 246 dersinden 157. · Modül 13: Dikkat ve transformer'lar
Modül 13: Dikkat ve transformer'lar

Motorun, PyTorch diliyle

Neden önemli Bu kurstan sonraki gün PyTorch (ya da başka bir çerçeve) ile karşılaşacaksın. Kurduğun her şey ona eşlenir; yalnızca birkaç gelenek farklıdır, ve insanlar kod taşırken hataların çoğuna onlar yol açar.

PyTorch bu tarayıcıda çalışamaz, bu yüzden bu ders kursun dizilerini NumPy ile PyTorch'un düzenlerine çevirir ve çevirmeyi tam olarak kontrol eder.

ŞeyBu kursPyTorch
Linear ağırlığıW (n_in, n_out)'tur, çıktı x @ W + bweight (out, in)'dir, çıktı x @ weight.T + bias
Başlangıç ağırlıklarıher katman için sqrt(2 / n_in) yayılımlı normal (He), sapma 0nn.Linear varsayılanı: yaklaşık ±1 / sqrt(n_in) içinde düzgün, sapma da düzgün
Resimlerkanal sonda, (N, H, W, C)kanal önde, (N, C, H, W)
Evrişim ağırlığı(k × k × C_in, C_out), satırlar (satır, sütun, kanal) sırasıyla(C_out, C_in, k, k)
BatchNorm hareketli varyansın'ye bölen batch varyansın - 1'e bölen yansız olan (normalleştirme yine n kullanır)
Gradyanları temizlemekev Adam.step()'i onları kendisi temizlerher adımda optimizer.zero_grad() çağırırsın
Hangi tensörler .grad tutargrafiğin her düğümüyalnızca ağırlıklar gibi yaprak tensörler, retain_grad() çağırmazsan
GELUz * sigmoid(1.702 z), bir yaklaşımvarsayılan olarak erf'li tam biçim; hızlısı için approximate='tanh'
LSTM[x, h] üzerinde tek bir ağırlık matrisi, unutma sapması 1 ya da 3'te başlariki sapmalı ayrı girdi ve gizli ağırlıklar, hepsi küçük ve rastgele başlar
Minicik GPT bloğuReLU, doğrusal katmanlarında sapma yok: 12d² + 4d ağırlıkGPT-2: GELU ve sapmalar: 12d² + 13d

Bunların hiçbiri yanlış değildir; seçimlerdir. Bir taşımayı sessizce bozanlar düzenlerdir: devrik bir Linear ağırlığı ya da kanal sonda bir resim, boyutlar tesadüfen uyuştuğunda hatasız yanlış sayılar verir.

Bu dersteki kelimeler ve semboller
kafa
her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
Senin sıran

PyTorch'un (weight, bias)'ını döndüren linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) ağırlığını döndüren conv_to_torch(w, c_in) ve n'ye bölen bir varyansı n - 1'e bölen birine çeviren unbiased(var, n) yaz. Gizli test senin ağırlıklarınla PyTorch tarzında yazılmış kanal önde bir evrişimi çalıştırır ve kursun conv'uyla karşılaştırır.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.