Silabus Pelajaran 59 dari 246 · Modul 4: Mesin autograd buatanmu sendiri
Modul 4: Mesin autograd buatanmu sendiri

Softmax dan cross-entropy dalam satu langkah

Kenapa ini penting Kamu bisa membangun softmax dari exp, sum, dan divide, tapi hasilnya lebih lambat dan bisa overflow. Setiap library asli menggabungkan softmax dan cross-entropy menjadi satu operasi dengan gradient sederhana yang kamu turunkan di Module 3.

A fused operation menghitung forward sekaligus (dengan max-shift untuk keamanan) dan punya satu aturan backward: (softmax - onehot) / n, kali gradient yang datang. Kamu juga butuh relu untuk sebuah network: lewatkan gradient di mana inputnya positif.

Ringkasan Gabungkan apa yang bisa kamu gabungkan; gradien gabungan lebih sederhana daripada bagian-bagiannya.

Kata dan simbol di pelajaran ini
Tensor
here: sebuah array ditambah gradiennya ditambah Tensor asalnya
.grad
gradien dari loss akhir terhadap Tensor ini
unbroadcast
meringradien balik ke bentuk asalnya
Giliranku

Tulis relu dan cross_entropy(labels) (pada Tensor logits (batch, classes), mengembalikan Tensor skalar) dengan aturan backward mereka.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.