Silabus Pelajaran 29 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Gradien dari seluruh matriks (aturan bentuk)

Kenapa ini penting Layers bekerja pada matriks utuh, jadi gradien mereka juga matriks. Satu aturan dan satu trik menghasilkan hampir setiap backward pass layer tanpa menghafal apa pun.

Aturan bentuk

Kerugian L adalah satu angka. Gradien L terhadap array apa pun memiliki bentuk yang persis sama dengan array tersebut: satu kemiringan per entri. Jadi jika W adalah (3, 4), dL/dW adalah (3, 4).

Angka kecil: Y = X @ W

Katakan X adalah (2, 3), W adalah (3, 4), Y = X @ W adalah (2, 4), dan beberapa langkah kemudian mengubah Y menjadi L. Mundur, kamu dapat G = dL/dY, bentuk (2, 4). Setiap entri Y[i, j] adalah jumlah k dari X[i, k] W[k, j]. Geser W[k, j]: itu menggerakkan setiap Y[i, j] di kolom j sebesar X[i, k] kali geseran tersebut. Jadi dL/dW[k, j] = jumlah i dari X[i, k] G[i, j]. Itu adalah satu entri dari X.T @ G, yang merupakan (3, 4): bentuk dari W, seperti yang dikatakan aturan tersebut.

Alasan yang sama untuk X memberikan dL/dX = G @ W.T, bentuk (2, 3). Cara cepat untuk mengingat keduanya: letakkan G dengan matriks lainnya, ditransposisi, dalam satu-satunya urutan yang bentuknya cocok.

Jacobian, dan kenapa tidak ada yang membuatnya

Tabel lengkap bagaimana setiap entri output bergerak dengan setiap entri input adalah Jacobian. Untuk Y = X @ W dengan W berukuran 1000 kali 1000 dan 64 baris, tabel itu akan punya 64 ribu output dikali satu juta bobot: 64 miliar entri. Backward tidak pernah membangunnya: ia hanya butuh G kali Jacobian, yang merupakan produk kecil X.T @ G. Produk itu adalah produk vektor-Jacobian dari pelajaran terakhir.

Jacobian: kemiringan setiap output terhadap setiap input, sebagai satu tabel besar. Vector-Jacobian product: gradien yang didorong balik melalui satu langkah, dihitung langsung tanpa tabel.

Ringkasan Bentuk yang sama dengan objeknya. Untuk Y = X @ W: dW = X.T @ G dan dX = G @ W.T.

Kata dan simbol di pelajaran ini
vector
daftar angka, satu per fitur
turunan (df/dx)
seberapa cepat output berubah per unit dorongan input
Giliranku

Tulis matmul_grads(X, W, G) yang mengembalikan (dX, dW) untuk Y = X @ W, dan elementwise_grads(A, B, G) yang mengembalikan (dA, dB) untuk Y = A * B (bentuk yang sama, item demi item). Tes tersembunyi memeriksa keduanya terhadap nudging, pada bentuk yang belum kamu lihat.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.