Cross-entropy adalah likelihood yang menyamar.
Kenapa ini penting Classifiers dilatih dengan loss yang disebut cross-entropy. Kedengarannya baru, tapi ini adalah ide likelihood dari dua pelajaran lalu.
Angka kecil
ModelA bilang probabilitas angka 0, 1 dan 2 adalah [0.665, 0.245, 0.090]. Angka aslinya adalah 0. Seberapa besar kemungkinan yang dipikirkan model untuk kebenaran tersebut? 0.665. Di bawah maximum likelihood kita ingin angka itu besar; sebagai loss kita ingin sesuatu yang kecil, jadi kita ambil minus log-nya: -log(0.665) = 0.408.
Jika angka yang benar adalah 2, loss akan menjadi -log(0.090) = 2.41: model hanya memberikan kebenaran sebesar 9%, jadi ia dihukum berat. Prediksi sempurna (probabilitas 1) memiliki loss 0.
Cross-entropy loss: minus log dari probabilitas yang diberikan model ke jawaban yang benar, dirata-ratakan ke seluruh contoh. Ini adalah tepatnya negative log-likelihood.
Pilih satu entri per baris
Dengan batch kamu butuh, untuk setiap baris, probabilitas di kolom benar baris tersebut. NumPy melakukan ini dengan dua array indeks dengan panjang yang sama: probs[rows, cols] memilih probs[rows[0], cols[0]], probs[rows[1], cols[1]] dan seterusnya. Dengan probs = [[0.7, 0.3], [0.2, 0.8]] dan label [0, 1], probs[np.arange(2), labels] menghasilkan [0.7, 0.8]: baris 0 kolom 0, lalu baris 1 kolom 1. Ini disebut fancy indexing.
Landmark yang berguna: model yang menebak secara seragam di atas 10 kelas memberikan masing-masing 0.1, jadi loss-nya adalah -log(0.1) = 2.30. Classifier baru mulai di dekat sana.
Ringkasan Loss = -log(probability given to the truth).
Kata dan simbol di pelajaran ini
- likelihood
- seberapa besar kemungkinan data yang kamu lihat di bawah satu pengaturan model
- cross-entropy
- kurangi log dari probabilitas yang diberikan ke jawaban yang benar
Tulis cross_entropy(probs, labels): probs adalah (batch, classes) dari probabilitas, labels menyimpan kelas asli dari setiap baris; kembalikan rata-rata dari -log(probabilitas dari kelas asli). Tanpa loop. Lalu atur uniform_10_loss ke loss dari tebakan seragam di atas 10 kelas.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.