Silabus Pelajaran 34 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Skor menjadi probabilitas (softmax)

Kenapa ini penting Klasifikasi digit menghasilkan 10 skor mentah, satu untuk setiap digit. Untuk membacanya sebagai "seberapa besar kemungkinan setiap digit", skor tersebut harus positif dan jumlahnya harus 1.

Angka kecil

Scores [2, 1, 0]. Buat jadi positif dengan exp: sekitar [7.39, 2.72, 1.00]. Bagi dengan total, 11.11: [0.665, 0.245, 0.090]. Jumlahnya jadi 1, jaga urutan yang sama, dan skor lebih tinggi selalu berarti probabilitas lebih tinggi.

Softmax: exp dari setiap skor, dibagi dengan jumlah semua exp. Logits: skor mentah yang masuk.

Satu jebakan: menambah angka yang sama ke setiap skor tidak mengubah apa pun (itu saling menghapus saat pembagian). Coba [1002, 1001, 1000]: jawaban yang sama dengan [2, 1, 0] di kertas, tapi exp(1002) overflow di komputer. Kamu akan memperbaikinya di gate.

Ringkasan exp, lalu bagi dengan totalnya.

Kata dan simbol di pelajaran ini
softmax
exp dari setiap skor dibagi total: skor menjadi probabilitas
Giliranku

Tulis softmax(z) untuk array 1D (versi biasa tidak apa-apa di sini), dan shift_invariant: atur ke True jika menambahkan angka yang sama ke setiap skor membuat output tetap sama, atau False jika itu mengubahnya.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.