Mundur untuk perkalian matriks
Kenapa ini penting Matrix multiply adalah mesin utama dari setiap layer. Aturan backward nya cuma dua baris, dan kamu bisa mendapatkannya dari bentuk saja.
Angka kecil
Ambil out = A @ B dengan A berukuran (2, 3) dan B berukuran (3, 4), jadi out berukuran (2, 4). Gradien yang datang, G, punya ukuran out (2, 4). Gradien A harus punya ukuran A (2, 3). Satu-satunya cara membuat (2, 3) dari G (2, 4) dan B (3, 4) adalah G @ B.T. Begitu juga gradien B (3, 4) harus A.T @ G.
Cek satu entri di kepalamu: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Geser A[0, 1] dan out[0, 0] bergerak sebesar B[1, 0] kali geserannya. Itu adalah tepat entri (0, 1) dari G @ B.T saat G bernilai 1 di (0, 0) dan 0 di tempat lain.
Ringkasan dA = G @ B.T, dB = A.T @ G. Kalau kamu lupa, samakan bentuknya.
Kata dan simbol di pelajaran ini
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- .grad
- gradien dari loss akhir terhadap Tensor ini
- unbroadcast
- meringradien balik ke bentuk asalnya sebelum ditarik
Tulis __matmul__ dengan _backward. Tes gradien tersembunyi memeriksa (A @ B) * C untuk bentuk acak.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.