Softmax dan cross-entropy dalam satu langkah
Kenapa ini penting Kamu bisa membangun softmax dari exp, sum, dan divide, tapi hasilnya lebih lambat dan bisa overflow. Setiap library asli menggabungkan softmax dan cross-entropy menjadi satu operasi dengan gradient sederhana yang kamu turunkan di Module 3.
A fused operation menghitung forward sekaligus (dengan max-shift untuk keamanan) dan punya satu aturan backward: (softmax - onehot) / n, kali gradient yang datang. Kamu juga butuh relu untuk sebuah network: lewatkan gradient di mana inputnya positif.
Ringkasan Gabungkan apa yang bisa kamu gabungkan; gradien gabungan lebih sederhana daripada bagian-bagiannya.
Kata dan simbol di pelajaran ini
- Tensor
- here: sebuah array ditambah gradiennya ditambah Tensor asalnya
- .grad
- gradien dari loss akhir terhadap Tensor ini
- unbroadcast
- meringradien balik ke bentuk asalnya
Tulis relu dan cross_entropy(labels) (pada Tensor logits (batch, classes), mengembalikan Tensor skalar) dengan aturan backward mereka.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.