코드가 중심에서 얼마나 먼가: 두 종 모양 곡선 사이의 KL
왜 중요한가 당김 2에는 최소화할 숫자가 필요해요: 각 코드의 구름 N(mu, spread)이 목표 N(0, 1)에서 얼마나 먼지. 그 숫자가 모듈 2에서 만난 KL 발산이고, 이제 종 모양 곡선에 대한 거예요.
모듈 2가 두 종 모양 곡선에 대한 정확한 공식을 줬어요: N(m1, s1)과 N(m2, s2) 사이의 KL은
log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2예요.
목표가 N(0, 1)(m2 = 0, s2 = 1)이고 퍼짐을 logvar = log(s1²)로 쓰면, 코드 숫자마다 0.5 (mu² + exp(logvar) - 1 - logvar)가 돼요. 코드의 숫자들에 걸쳐 더하세요.
작은 숫자
mu = 0, logvar = 0(퍼짐 1): 0.5 (0 + 1 - 1 - 0) = 0, 코드가 이미 목표와 맞아요. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, 그래서 너무 자신만만한 코드도 값을 치러요.
공식 없이 확인하기
KL은 평균이에요: p에서 뽑은 x에 대한 log p(x) - log q(x)의 평균. x를 많이 뽑아 평균 내면 조금 잡음 섞인 같은 숫자가 나와요. 두 방법이 일치하는 것이 코드가 맞다는 걸 아는 방법이에요.
이 레슨의 단어와 기호
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
공식으로 kl_normal(m1, s1, m2, s2)를, kl_to_standard(mu, logvar)(모양 (N, z)인 NumPy 배열, 코드 숫자에 걸친 합을 N개 행에 걸쳐 평균 내서 반환)를, 그리고 p에서 n번 뽑아 log p(x) - log q(x)를 평균 내는 kl_by_sampling(m1, s1, m2, s2, n)을 쓰세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.