Hai phỏng đoán khác nhau tới đâu (độ phân kỳ KL)
Vì sao điều này quan trọng Sau này bạn sẽ đẩy một phân phối về phía một phân phối khác: một bộ sinh về phía dữ liệu thật, một mô hình nhỏ về phía một mô hình lớn. Độ phân kỳ KL đo khoảng cách.
Những con số nhỏ xíu
Sự thật P = [0.5, 0.5], một phỏng đoán Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. Đổi chỗ chúng: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. Những con số khác nhau: KL không đối xứng, nên thứ tự quan trọng.
Độ phân kỳ KL (KL divergence): sự bất ngờ thêm mà bạn chịu, trung bình, khi dùng Q trong khi sự thật là P. Nó bằng 0 chỉ khi chúng giống hệt nhau, và không bao giờ âm.
Với hai đường cong hình chuông có một công thức chính xác, mà Mô-đun 15 dùng cho các mô hình sinh của nó: KL giữa N(m1, s1) và N(m2, s2) là log(s2/s1) + (s1 bình phương + (m1 - m2) bình phương) / (2 s2 bình phương) - 1/2.
Tóm tắt Một thước đo khoảng cách, bằng không khi bằng nhau, và thứ tự quan trọng.
Từ và ký hiệu trong bài học này
- KL(P || Q)
- hai phân phối khác nhau tới đâu; bằng không chỉ khi chúng khớp; thứ tự quan trọng
Viết kl(p, q) cho hai phân phối xác suất được cho dưới dạng list hay mảng (các bài kiểm tra truyền list thường, nên hãy biến chúng thành mảng trước), và kl_gauss(m1, s1, m2, s2) dùng công thức ở trên.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.