Silabus Pelajaran 35 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Cross-entropy adalah likelihood yang menyamar.

Kenapa ini penting Classifiers dilatih dengan loss yang disebut cross-entropy. Kedengarannya baru, tapi ini adalah ide likelihood dari dua pelajaran lalu.

Angka kecil

Model

A bilang probabilitas angka 0, 1 dan 2 adalah [0.665, 0.245, 0.090]. Angka aslinya adalah 0. Seberapa besar kemungkinan yang dipikirkan model untuk kebenaran tersebut? 0.665. Di bawah maximum likelihood kita ingin angka itu besar; sebagai loss kita ingin sesuatu yang kecil, jadi kita ambil minus log-nya: -log(0.665) = 0.408.

Jika angka yang benar adalah 2, loss akan menjadi -log(0.090) = 2.41: model hanya memberikan kebenaran sebesar 9%, jadi ia dihukum berat. Prediksi sempurna (probabilitas 1) memiliki loss 0.

Cross-entropy loss: minus log dari probabilitas yang diberikan model ke jawaban yang benar, dirata-ratakan ke seluruh contoh. Ini adalah tepatnya negative log-likelihood.

Pilih satu entri per baris

Dengan batch kamu butuh, untuk setiap baris, probabilitas di kolom benar baris tersebut. NumPy melakukan ini dengan dua array indeks dengan panjang yang sama: probs[rows, cols] memilih probs[rows[0], cols[0]], probs[rows[1], cols[1]] dan seterusnya. Dengan probs = [[0.7, 0.3], [0.2, 0.8]] dan label [0, 1], probs[np.arange(2), labels] menghasilkan [0.7, 0.8]: baris 0 kolom 0, lalu baris 1 kolom 1. Ini disebut fancy indexing.

Landmark yang berguna: model yang menebak secara seragam di atas 10 kelas memberikan masing-masing 0.1, jadi loss-nya adalah -log(0.1) = 2.30. Classifier baru mulai di dekat sana.

Ringkasan Loss = -log(probability given to the truth).

Kata dan simbol di pelajaran ini
likelihood
seberapa besar kemungkinan data yang kamu lihat di bawah satu pengaturan model
cross-entropy
kurangi log dari probabilitas yang diberikan ke jawaban yang benar
Giliranku

Tulis cross_entropy(probs, labels): probs adalah (batch, classes) dari probabilitas, labels menyimpan kelas asli dari setiap baris; kembalikan rata-rata dari -log(probabilitas dari kelas asli). Tanpa loop. Lalu atur uniform_10_loss ke loss dari tebakan seragam di atas 10 kelas.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.