두 추측이 얼마나 다른가(KL 발산)
왜 중요한가 나중에 한 분포를 다른 분포 쪽으로 밀게 될 거예요: 생성기를 실제 데이터 쪽으로, 작은 모델을 큰 모델 쪽으로. KL 발산이 그 틈을 재요.
작은 숫자
진실 P = [0.5, 0.5], 추측 Q = [0.9, 0.1]. KL(P || Q) = 0.5 log(0.5/0.9) + 0.5 log(0.5/0.1) = -0.294 + 0.805 = 0.511. 바꾸면: KL(Q || P) = 0.9 log(0.9/0.5) + 0.1 log(0.1/0.5) = 0.529 - 0.161 = 0.368. 다른 숫자: KL은 대칭이 아니니, 순서가 중요해요.
KL 발산: 진실이 P일 때 Q를 써서 평균적으로 겪는 추가 놀람. 둘이 똑같을 때만 0이고, 결코 음수가 아니에요.
두 종 모양 곡선에는 정확한 공식이 있고, 모듈 15가 생성 모델에 그걸 써요: N(m1, s1)과 N(m2, s2) 사이의 KL은 log(s2/s1) + (s1 제곱 + (m1 - m2) 제곱) / (2 s2 제곱) - 1/2예요.
요약 틈을 재는 척도, 같으면 0, 순서가 중요해요.
이 레슨의 단어와 기호
- KL(P || Q)
- 두 분포가 얼마나 다른지. 같을 때만 0이고, 순서가 중요해요
리스트나 배열로 주어진 두 확률에 대한 kl(p, q)(테스트는 평범한 리스트를 넘기니, 먼저 배열로 바꾸세요)와 위의 공식을 쓰는 kl_gauss(m1, s1, m2, s2)를 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.