Matris çarpımı için geri geçiş
Neden önemli Matris çarpımı her katmanın iş beygiridir. Geri kuralı iki satırdır, ve onu yalnızca şekillerden türetebilirsin.
Küçük sayılar
A (2, 3) ve B (3, 4) şeklinde out = A @ B al, yani out (2, 4)'tür. Gelen gradyan G, out'un şekline (2, 4) sahiptir. A'nın gradyanı A'nın şekline (2, 3) sahip olmalı. G (2, 4) ve B (3, 4)'ten (2, 3) yapmanın tek yolu G @ B.T'dir. Benzer şekilde B'nin gradyanı (3, 4), A.T @ G olmalı.
Kafandan bir elemanı kontrol et: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. A[0, 1]'i it, out[0, 0] B[1, 0] çarpı itme kadar hareket eder. Bu, G (0, 0)'da 1 ve başka yerlerde 0 olduğunda tam olarak G @ B.T'nin (0, 1) elemanıdır.
Özet dA = G @ B.T, dB = A.T @ G. Unutursan şekilleri eşleştir.
Bu dersteki kelimeler ve semboller
- Tensor
- burada: bir dizi artı gradyanı artı geldiği Tensor'lar
- .grad
- son kaybın bu Tensor'a göre gradyanı
- unbroadcast
- bir gradyanı esnetildiği şekle geri toplamak
__matmul__ metodunu _backward fonksiyonuyla birlikte yaz. Gizli test rastgele şekiller için (A @ B) * C gradyanlarını kontrol eder.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.