Müfredat 246 dersinden 56. · Modül 4: Kendi autograd motorun
Modül 4: Kendi autograd motorun

Matris çarpımı için geri geçiş

Neden önemli Matris çarpımı her katmanın iş beygiridir. Geri kuralı iki satırdır, ve onu yalnızca şekillerden türetebilirsin.

Küçük sayılar

A (2, 3) ve B (3, 4) şeklinde out = A @ B al, yani out (2, 4)'tür. Gelen gradyan G, out'un şekline (2, 4) sahiptir. A'nın gradyanı A'nın şekline (2, 3) sahip olmalı. G (2, 4) ve B (3, 4)'ten (2, 3) yapmanın tek yolu G @ B.T'dir. Benzer şekilde B'nin gradyanı (3, 4), A.T @ G olmalı.

Kafandan bir elemanı kontrol et: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. A[0, 1]'i it, out[0, 0] B[1, 0] çarpı itme kadar hareket eder. Bu, G (0, 0)'da 1 ve başka yerlerde 0 olduğunda tam olarak G @ B.T'nin (0, 1) elemanıdır.

Özet dA = G @ B.T, dB = A.T @ G. Unutursan şekilleri eşleştir.

Bu dersteki kelimeler ve semboller
Tensor
burada: bir dizi artı gradyanı artı geldiği Tensor'lar
.grad
son kaybın bu Tensor'a göre gradyanı
unbroadcast
bir gradyanı esnetildiği şekle geri toplamak
Senin sıran

__matmul__ metodunu _backward fonksiyonuyla birlikte yaz. Gizli test rastgele şekiller için (A @ B) * C gradyanlarını kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.