Bütün matrislerin gradyanları (şekil kuralı)
Neden önemli Katmanlar bütün matrisler üzerinde çalışır, bu yüzden gradyanları da matristir. Tek bir kural ve tek bir hile, hiçbir şey ezberlemeden neredeyse her katmanın geri geçişini türetir.
Şekil kuralı
L kaybı tek bir sayıdır. L'nin herhangi bir diziye göre gradyanı tam olarak o dizinin şekline sahiptir: eleman başına bir eğim. Yani W (3, 4) ise, dL/dW de (3, 4)'tür.
Küçük sayılar: Y = X @ W
Diyelim ki X (2, 3), W (3, 4), Y = X @ W (2, 4) ve sonraki bazı adımlar Y'yi L'ye çeviriyor. Geri geçiş sana (2, 4) şeklinde G = dL/dY verir. Her Y[i, j] elemanı, k üzerinden X[i, k] W[k, j] toplamıdır. W[k, j]'yi it: j sütunundaki her Y[i, j]'yi X[i, k] çarpı itme kadar hareket ettirir. Yani dL/dW[k, j] = i üzerinden X[i, k] G[i, j] toplamı. Bu, (3, 4) şeklindeki X.T @ G'nin bir elemanıdır: kuralın dediği gibi W'nin şekli.
Aynı akıl yürütme X için dL/dX = G @ W.T verir, şekli (2, 3). İkisini de hatırlamanın hızlı yolu: G'yi diğer matrisin devriğiyle, şekillerin uyduğu tek sırayla koy.
Jacobian, ve neden kimse onu kurmaz
Her çıktı elemanının her girdi elemanıyla nasıl hareket ettiğini gösteren tam tabloya Jacobian denir. 1000'e 1000'lik bir W ve 64 satırlı Y = X @ W için bu tablo 64 bin çıktı çarpı bir milyon ağırlık içerirdi: 64 milyar eleman. Geri geçiş onu asla kurmaz: yalnızca G çarpı Jacobian'a ihtiyaç duyar, bu da küçük X.T @ G çarpımıdır. Bu çarpım, son dersteki vektör-Jacobian çarpımıdır.
Jacobian: her çıktının her girdiye göre eğimi, büyük tek bir tablo olarak. Vektör-Jacobian çarpımı: bir adım boyunca geri itilen gradyan, tablo olmadan doğrudan hesaplanır.
Özet O şeyle aynı şekil. Y = X @ W için: dW = X.T @ G ve dX = G @ W.T.
Bu dersteki kelimeler ve semboller
- vektör
- özellik başına bir sayıdan oluşan bir liste
- türev (df/dx)
- girdinin birim itmesi başına çıktının ne kadar hızlı değiştiği
Y = X @ W için (dX, dW) döndüren matmul_grads(X, W, G) yaz, ve Y = A * B için (aynı şekiller, öğe öğe) (dA, dB) döndüren elementwise_grads(A, B, G) yaz. Gizli test ikisini de daha önce görmediğin şekillerde itmeye karşı kontrol eder.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.