Motorun, PyTorch diliyle
Neden önemli Bu kurstan sonraki gün PyTorch (ya da başka bir çerçeve) ile karşılaşacaksın. Kurduğun her şey ona eşlenir; yalnızca birkaç gelenek farklıdır, ve insanlar kod taşırken hataların çoğuna onlar yol açar.
PyTorch bu tarayıcıda çalışamaz, bu yüzden bu ders kursun dizilerini NumPy ile PyTorch'un düzenlerine çevirir ve çevirmeyi tam olarak kontrol eder.
| Şey | Bu kurs | PyTorch |
|---|---|---|
| Linear ağırlığı | W (n_in, n_out)'tur, çıktı x @ W + b | weight (out, in)'dir, çıktı x @ weight.T + bias |
| Başlangıç ağırlıkları | her katman için sqrt(2 / n_in) yayılımlı normal (He), sapma 0 | nn.Linear varsayılanı: yaklaşık ±1 / sqrt(n_in) içinde düzgün, sapma da düzgün |
| Resimler | kanal sonda, (N, H, W, C) | kanal önde, (N, C, H, W) |
| Evrişim ağırlığı | (k × k × C_in, C_out), satırlar (satır, sütun, kanal) sırasıyla | (C_out, C_in, k, k) |
| BatchNorm hareketli varyansı | n'ye bölen batch varyansı | n - 1'e bölen yansız olan (normalleştirme yine n kullanır) |
| Gradyanları temizlemek | ev Adam.step()'i onları kendisi temizler | her adımda optimizer.zero_grad() çağırırsın |
Hangi tensörler .grad tutar | grafiğin her düğümü | yalnızca ağırlıklar gibi yaprak tensörler, retain_grad() çağırmazsan |
| GELU | z * sigmoid(1.702 z), bir yaklaşım | varsayılan olarak erf'li tam biçim; hızlısı için approximate='tanh' |
| LSTM | [x, h] üzerinde tek bir ağırlık matrisi, unutma sapması 1 ya da 3'te başlar | iki sapmalı ayrı girdi ve gizli ağırlıklar, hepsi küçük ve rastgele başlar |
| Minicik GPT bloğu | ReLU, doğrusal katmanlarında sapma yok: 12d² + 4d ağırlık | GPT-2: GELU ve sapmalar: 12d² + 13d |
Bunların hiçbiri yanlış değildir; seçimlerdir. Bir taşımayı sessizce bozanlar düzenlerdir: devrik bir Linear ağırlığı ya da kanal sonda bir resim, boyutlar tesadüfen uyuştuğunda hatasız yanlış sayılar verir.
Bu dersteki kelimeler ve semboller
- kafa
- her biri kendi kalıbına sahip, yan yana çalıştırılan H daha dar dikkatten biri
PyTorch'un (weight, bias)'ını döndüren linear_to_torch(W, b), nhwc_to_nchw(X), (C_out, C_in, k, k) ağırlığını döndüren conv_to_torch(w, c_in) ve n'ye bölen bir varyansı n - 1'e bölen birine çeviren unbiased(var, n) yaz. Gizli test senin ağırlıklarınla PyTorch tarzında yazılmış kanal önde bir evrişimi çalıştırır ve kursun conv'uyla karşılaştırır.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.