강의 계획 레슨 246개 중 171번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

VAE 손실, 한 단계씩(ELBO)

왜 중요한가 "잘 다시 만들기 더하기 중심 근처에 머물기"는 목표 둘을 붙여 놓은 것처럼 들려요. 목표 하나예요: 모델 아래에서 진짜 숫자가 가능한 한 그럴듯하게 만들기. 왜인지 보면 손실 숫자가 무엇을 뜻하는지 알게 돼요.

VAE는 숫자가 어떻게 만들어지는지에 대한 이야기예요: N(0, 1)에서 코드 z를 뽑고, 그다음 디코더가 주는 확률로 각 픽셀을 뽑아요. 가장 좋은 모델은 진짜 숫자에 가장 높은 확률 log p(x)를 줘요. log p(x)를 정확히 계산하려면 가능한 모든 z에 대한 평균이 필요한데, 손이 닿지 않아요.

요령은 계산할 수 있는 하한, ELBO(증거 하한)예요:

log p(x) ≥ E[log p(x | z)] - KL(q(z | x) || N(0, 1))

여기서 q(z | x) = N(mu, spread)는 어떤 코드가 x를 만들었을지에 대한 인코더의 추측이고, E[...]는 거기서 뽑은 코드에 걸쳐 평균 내요. 첫 항은 재구성 점수예요. 둘째 항은 당김 2예요. log p(x)와 ELBO 사이의 틈은 정확히 인코더의 추측이 얼마나 틀렸는지(진짜 사후 분포까지의 KL)라서, ELBO를 밀어 올리면 log p(x)가 오르거나, 틈이 닫히거나(추측이 나아지거나), 둘 다예요: ELBO만으로는 어느 쪽인지 알 수 없어요.

훈련은 -ELBO, 즉 재구성 손실 + KL을 최소화해요: gen.train_vae의 바로 그 손실이에요.

작은 예시에서 빈칸 채우기

4픽셀 그림 x = [1, 0, 1, 1]. 인코더는 mu = [0.5, -1.0]과 logvar = [0.0, -1.0]을 줘요. 코드를 한 번 뽑으면 디코더 확률 p = [0.9, 0.2, 0.7, 0.6](각 픽셀에 잉크가 있을 확률)이 나와요.

이 레슨의 단어와 기호
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
VAE
변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
ELBO
증거 하한: 재구성 점수 빼기 KL. VAE 훈련은 그걸 밀어 올려요
내 차례

각 단계를 채우세요: log_p_x_given_z(픽셀에 걸친 x log p + (1 - x) log(1 - p)의 합), kl(N(0, 1)까지, 두 코드 숫자에 걸쳐 합함), elbo, 그리고 loss(훈련이 최소화하는 것). 그다음 gap_means를 log p(x)와 ELBO 사이의 틈이 무엇을 재는지 말하는 글자로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.