강의 계획 레슨 246개 중 170번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

코드가 중심에서 얼마나 먼가: 두 종 모양 곡선 사이의 KL

왜 중요한가 당김 2에는 최소화할 숫자가 필요해요: 각 코드의 구름 N(mu, spread)이 목표 N(0, 1)에서 얼마나 먼지. 그 숫자가 모듈 2에서 만난 KL 발산이고, 이제 종 모양 곡선에 대한 거예요.

모듈 2가 두 종 모양 곡선에 대한 정확한 공식을 줬어요: N(m1, s1)과 N(m2, s2) 사이의 KL은

log(s2 / s1) + (s1² + (m1 - m2)²) / (2 s2²) - 1/2예요.

목표가 N(0, 1)(m2 = 0, s2 = 1)이고 퍼짐을 logvar = log(s1²)로 쓰면, 코드 숫자마다 0.5 (mu² + exp(logvar) - 1 - logvar)가 돼요. 코드의 숫자들에 걸쳐 더하세요.

작은 숫자

mu = 0, logvar = 0(퍼짐 1): 0.5 (0 + 1 - 1 - 0) = 0, 코드가 이미 목표와 맞아요. mu = 2, logvar = 0: 0.5 (4 + 1 - 1 - 0) = 2. mu = 0, logvar = -2: 0.5 (0 + 0.135 - 1 + 2) = 0.568, 그래서 너무 자신만만한 코드도 값을 치러요.

공식 없이 확인하기

KL은 평균이에요: p에서 뽑은 x에 대한 log p(x) - log q(x)의 평균. x를 많이 뽑아 평균 내면 조금 잡음 섞인 같은 숫자가 나와요. 두 방법이 일치하는 것이 코드가 맞다는 걸 아는 방법이에요.

이 레슨의 단어와 기호
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
내 차례

공식으로 kl_normal(m1, s1, m2, s2)를, kl_to_standard(mu, logvar)(모양 (N, z)인 NumPy 배열, 코드 숫자에 걸친 합을 N개 행에 걸쳐 평균 내서 반환)를, 그리고 p에서 n번 뽑아 log p(x) - log q(x)를 평균 내는 kl_by_sampling(m1, s1, m2, s2, n)을 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.