Şekiller esnediğinde geri geçiş (yayınlama)
Neden önemli Bu dünyadaki en yaygın autograd hatasıdır. (32, 4) şeklinde bir batch'e eklenen (4,) şeklinde bir sapma 32 kez kullanılır, bu yüzden gradyanı 32 katkının hepsini toplamalı.
Küçük sayılar
X (3, 2) ve b (2,) ile out = X + b. Gelen gradyan (3, 2)'dir. b 3 satırın hepsine kopyalandı, bu yüzden her kopya bir pay aldı: b'nin gradyanı satırlar üzerindeki toplamdır, şekli (2,). (3, 2)'lik diziyi geri verirsen şekiller artık eşleşmez, ya da daha kötüsü, yayınlama bunu gizler ve sayılar 3 kat yanlış olur.
Kural: yayınlamanın bir yön eklediği her yerde onu toplayarak kaldır; 1 boyutlu bir yönü esnettiği her yerde onu topla ama 1 boyutunda tut.
Özet İleri kopyalanan geri toplanır.
Bu dersteki kelimeler ve semboller
- autograd
- otomatik gradyanlar: ileri geçişi sen yazarsın, geri geçişi motor yapar
- Tensor
- burada: bir dizi artı gradyanı artı geldiği Tensor'lar
- .grad
- son kaybın bu Tensor'a göre gradyanı
- unbroadcast
- bir gradyanı esnetildiği şekle geri toplamak
unbroadcast(grad, shape) yaz: grad'ı shape'e kadar topla. Toplama ve çarpman onu zaten çağırıyor.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.