Mundur saat bentuk meregang (broadcasting)
Kenapa ini penting Ini adalah bug autograd paling umum di dunia. Bias dengan bentuk (4,) yang ditambahkan ke batch dengan bentuk (32, 4) digunakan sebanyak 32 kali, jadi gradiennya harus menjumlahkan semua 32 kontribusi tersebut.
Angka kecil
out = X + b dengan X (3, 2) dan b (2,). Gradien yang datang adalah (3, 2). b disalin ke semua 3 baris, jadi setiap salinan menerima bagian: gradien b adalah jumlah dari baris, bentuk (2,). Jika kamu mengembalikan array (3, 2), bentuk tidak lagi cocok, atau lebih buruk lagi, broadcasting menyembunyikannya dan angka-angkanya salah 3 kali lipat.
Aturannya: di mana pun broadcasting added sebuah arah, jumlahkan ke luar; di mana pun ia stretched sebuah arah ukuran-1, jumlahkan tapi tetap simpan sebagai ukuran 1.
Ringkasan Copied forward berarti dijumlahkan ke belakang.
Kata dan simbol di pelajaran ini
- autograd
- gradien otomatis: kamu tulis forward pass, engine melakukan backward
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- .grad
- gradien dari loss akhir terhadap Tensor ini
- unbroadcast
- meringradien kembali ke bentuk asalnya sebelum ditarik
Tulis unbroadcast(grad, shape): sum grad sampai shape. add dan multiply kamu sudah memanggilnya.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.