Seberapa berbeda dua tebakan (KL divergence)
Kenapa ini penting Nanti kamu akan mendorong satu distribusi ke distribusi lainnya: generator ke data asli, model kecil ke model besar. KL divergence mengukur celahnya.
Angka kecil
Kebenaran P = [0.5, 0.5], sebuah tebakan Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Tukar posisinya: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Angka yang berbeda: KL tidak simetris, jadi urutan itu penting.
KL divergence: kejutan ekstra yang kamu alami, rata-rata, saat menggunakan Q padahal kenyataannya adalah P. Nilainya 0 hanya jika keduanya identik, dan tidak pernah negatif.
Untuk dua kurva lonceng ada rumus pastinya, yang digunakan Module 15 untuk model generatifnya: KL antara N(m1, s1) dan N(m2, s2) adalah log(s2/s1) + (s1 squared + (m1 - m2) squared) / (2 s2 squared) - 1/2.
Ringkasan Ukuran celah, nol jika sama, dan urutan berpengaruh.
Kata dan simbol di pelajaran ini
- KL(P || Q)
- seberapa berbeda dua distribusi; nol hanya jika keduanya cocok; urutan berpengaruh
Tulis kl(p, q) untuk dua probabilitas yang diberikan sebagai list atau array (tes menggunakan list biasa, jadi ubah dulu menjadi array), dan kl_gauss(m1, s1, m2, s2) menggunakan rumus di atas.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.