Silabus Pelajaran 47 dari 246 · Modul 3: Neuron ke MLP
Modul 3: Neuron ke MLP

Softmax dan cross-entropy bersamaan

Kenapa ini penting Setiap classifier di kursus ini diakhiri dengan softmax ditambah cross-entropy. Gabungan gradient mereka adalah salah satu hasil paling berguna dalam deep learning, dan itu singkat.

Angka kecil

Logits [2, 1, 0], softmax [0.665, 0.245, 0.090], kelas asli 0 (one-hot [1, 0, 0]). Gradien dari loss terhadap logits hanyalah softmax dikurangi one-hot: [-0.335, 0.245, 0.090]. Secara kata-kata: naikkan skor kelas asli sebanyak kekurangan nilainya, dan turunkan setiap skor lainnya sebanyak probabilitas yang diambil secara salah.

One-hot: vektor berisi nol dengan satu angka 1 pada kelas yang benar.

Untuk batch, hitung rata-rata baris: (softmax(Z) - onehot) / n.

Ringkasan Gradient = prediction minus truth, lagi.

Kata dan simbol di pelajaran ini
one-hot
nolong dengan satu angka 1 di kelas yang benar
cek gradient
membandingkan rumus gradient kamu dengan estimasi nudge-and-measure
Giliranku

Tulis loss_and_grad(Z, labels) yang mengembalikan mean cross-entropy dan gradiennya terhadap Z (bentuk (batch, classes)). Gunakan softmax yang stabil. Periksa sendiri dengan gradient checker kamu sebelum dikirim.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.