Müfredat 246 dersinden 57. · Modül 4: Kendi autograd motorun
Modül 4: Kendi autograd motorun

Şekiller esnediğinde geri geçiş (yayınlama)

Neden önemli Bu dünyadaki en yaygın autograd hatasıdır. (32, 4) şeklinde bir batch'e eklenen (4,) şeklinde bir sapma 32 kez kullanılır, bu yüzden gradyanı 32 katkının hepsini toplamalı.

Küçük sayılar

X (3, 2) ve b (2,) ile out = X + b. Gelen gradyan (3, 2)'dir. b 3 satırın hepsine kopyalandı, bu yüzden her kopya bir pay aldı: b'nin gradyanı satırlar üzerindeki toplamdır, şekli (2,). (3, 2)'lik diziyi geri verirsen şekiller artık eşleşmez, ya da daha kötüsü, yayınlama bunu gizler ve sayılar 3 kat yanlış olur.

Kural: yayınlamanın bir yön eklediği her yerde onu toplayarak kaldır; 1 boyutlu bir yönü esnettiği her yerde onu topla ama 1 boyutunda tut.

Özet İleri kopyalanan geri toplanır.

Bu dersteki kelimeler ve semboller
autograd
otomatik gradyanlar: ileri geçişi sen yazarsın, geri geçişi motor yapar
Tensor
burada: bir dizi artı gradyanı artı geldiği Tensor'lar
.grad
son kaybın bu Tensor'a göre gradyanı
unbroadcast
bir gradyanı esnetildiği şekle geri toplamak
Senin sıran

unbroadcast(grad, shape) yaz: grad'ı shape'e kadar topla. Toplama ve çarpman onu zaten çağırıyor.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.