Silabus Pelajaran 57 dari 246 · Modul 4: Mesin autograd buatanmu sendiri
Modul 4: Mesin autograd buatanmu sendiri

Mundur saat bentuk meregang (broadcasting)

Kenapa ini penting Ini adalah bug autograd paling umum di dunia. Bias dengan bentuk (4,) yang ditambahkan ke batch dengan bentuk (32, 4) digunakan sebanyak 32 kali, jadi gradiennya harus menjumlahkan semua 32 kontribusi tersebut.

Angka kecil

out = X + b dengan X (3, 2) dan b (2,). Gradien yang datang adalah (3, 2). b disalin ke semua 3 baris, jadi setiap salinan menerima bagian: gradien b adalah jumlah dari baris, bentuk (2,). Jika kamu mengembalikan array (3, 2), bentuk tidak lagi cocok, atau lebih buruk lagi, broadcasting menyembunyikannya dan angka-angkanya salah 3 kali lipat.

Aturannya: di mana pun broadcasting added sebuah arah, jumlahkan ke luar; di mana pun ia stretched sebuah arah ukuran-1, jumlahkan tapi tetap simpan sebagai ukuran 1.

Ringkasan Copied forward berarti dijumlahkan ke belakang.

Kata dan simbol di pelajaran ini
autograd
gradien otomatis: kamu tulis forward pass, engine melakukan backward
Tensor
here: sebuah array ditambah gradiennya ditambah Tensor asalnya
.grad
gradien dari loss akhir terhadap Tensor ini
unbroadcast
meringradien kembali ke bentuk asalnya sebelum ditarik
Giliranku

Tulis unbroadcast(grad, shape): sum grad sampai shape. add dan multiply kamu sudah memanggilnya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.