Müfredat 246 dersinden 29. · Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar
Modül 2: Matematik ve olasılık, yalnızca gerektiği kadar

Bütün matrislerin gradyanları (şekil kuralı)

Neden önemli Katmanlar bütün matrisler üzerinde çalışır, bu yüzden gradyanları da matristir. Tek bir kural ve tek bir hile, hiçbir şey ezberlemeden neredeyse her katmanın geri geçişini türetir.

Şekil kuralı

L kaybı tek bir sayıdır. L'nin herhangi bir diziye göre gradyanı tam olarak o dizinin şekline sahiptir: eleman başına bir eğim. Yani W (3, 4) ise, dL/dW de (3, 4)'tür.

Küçük sayılar: Y = X @ W

Diyelim ki X (2, 3), W (3, 4), Y = X @ W (2, 4) ve sonraki bazı adımlar Y'yi L'ye çeviriyor. Geri geçiş sana (2, 4) şeklinde G = dL/dY verir. Her Y[i, j] elemanı, k üzerinden X[i, k] W[k, j] toplamıdır. W[k, j]'yi it: j sütunundaki her Y[i, j]'yi X[i, k] çarpı itme kadar hareket ettirir. Yani dL/dW[k, j] = i üzerinden X[i, k] G[i, j] toplamı. Bu, (3, 4) şeklindeki X.T @ G'nin bir elemanıdır: kuralın dediği gibi W'nin şekli.

Aynı akıl yürütme X için dL/dX = G @ W.T verir, şekli (2, 3). İkisini de hatırlamanın hızlı yolu: G'yi diğer matrisin devriğiyle, şekillerin uyduğu tek sırayla koy.

Jacobian, ve neden kimse onu kurmaz

Her çıktı elemanının her girdi elemanıyla nasıl hareket ettiğini gösteren tam tabloya Jacobian denir. 1000'e 1000'lik bir W ve 64 satırlı Y = X @ W için bu tablo 64 bin çıktı çarpı bir milyon ağırlık içerirdi: 64 milyar eleman. Geri geçiş onu asla kurmaz: yalnızca G çarpı Jacobian'a ihtiyaç duyar, bu da küçük X.T @ G çarpımıdır. Bu çarpım, son dersteki vektör-Jacobian çarpımıdır.

Jacobian: her çıktının her girdiye göre eğimi, büyük tek bir tablo olarak. Vektör-Jacobian çarpımı: bir adım boyunca geri itilen gradyan, tablo olmadan doğrudan hesaplanır.

Özet O şeyle aynı şekil. Y = X @ W için: dW = X.T @ G ve dX = G @ W.T.

Bu dersteki kelimeler ve semboller
vektör
özellik başına bir sayıdan oluşan bir liste
türev (df/dx)
girdinin birim itmesi başına çıktının ne kadar hızlı değiştiği
Senin sıran

Y = X @ W için (dX, dW) döndüren matmul_grads(X, W, G) yaz, ve Y = A * B için (aynı şekiller, öğe öğe) (dA, dB) döndüren elementwise_grads(A, B, G) yaz. Gizli test ikisini de daha önce görmediğin şekillerde itmeye karşı kontrol eder.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.