Silabus Pelajaran 37 dari 246 · Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan
Modul 2: Matematika dan probabilitas, hanya jika dibutuhkan

Seberapa berbeda dua tebakan (KL divergence)

Kenapa ini penting Nanti kamu akan mendorong satu distribusi ke distribusi lainnya: generator ke data asli, model kecil ke model besar. KL divergence mengukur celahnya.

Angka kecil

Kebenaran P = [0.5, 0.5], sebuah tebakan Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Tukar posisinya: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Angka yang berbeda: KL tidak simetris, jadi urutan itu penting.

KL divergence: kejutan ekstra yang kamu alami, rata-rata, saat menggunakan Q padahal kenyataannya adalah P. Nilainya 0 hanya jika keduanya identik, dan tidak pernah negatif.

Untuk dua kurva lonceng ada rumus pastinya, yang digunakan Module 15 untuk model generatifnya: KL antara N(m1, s1) dan N(m2, s2) adalah log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.

Ringkasan Ukuran celah, nol jika sama, dan urutan berpengaruh.

Kata dan simbol di pelajaran ini
KL(P || Q)
seberapa berbeda dua distribusi; nol hanya jika keduanya cocok; urutan berpengaruh
Giliranku

Tulis kl(p, q) untuk dua probabilitas yang diberikan sebagai list atau array (tes menggunakan list biasa, jadi ubah dulu menjadi array), dan kl_gauss(m1, s1, m2, s2) menggunakan rumus di atas.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.