Softmax dan cross-entropy bersamaan
Kenapa ini penting Setiap classifier di kursus ini diakhiri dengan softmax ditambah cross-entropy. Gabungan gradient mereka adalah salah satu hasil paling berguna dalam deep learning, dan itu singkat.
Angka kecil
Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], kelas asli 0 (one-hot [1, 0, 0]). Gradien dari loss terhadap logits hanyalah softmax dikurangi one-hot: [-0.335, 0.245, 0.090]. Secara kata-kata: naikkan skor kelas asli sebanyak kekurangan nilainya, dan turunkan setiap skor lainnya sebanyak probabilitas yang diambil secara salah.
One-hot: vektor berisi nol dengan satu angka 1 pada kelas yang benar.
Untuk batch, hitung rata-rata baris: (softmax(Z) - onehot) / n.
Ringkasan Gradient = prediction minus truth, lagi.
Kata dan simbol di pelajaran ini
- one-hot
- nolong dengan satu angka 1 di kelas yang benar
- cek gradient
- membandingkan rumus gradient kamu dengan estimasi nudge-and-measure
Tulis loss_and_grad(Z, labels) yang mengembalikan mean cross-entropy dan gradiennya terhadap Z (bentuk (batch, classes)). Gunakan softmax yang stabil. Periksa sendiri dengan gradient checker kamu sebelum dikirim.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.