강의 계획 레슨 246개 중 172번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

그걸 거쳐 훈련할 수 있는 샘플링

왜 중요한가 코드는 N(mu, spread)에서 뽑은 무작위 값이에요. 역전파에는 손실에서 mu와 logvar로 가는 기울기가 필요한데, "무작위 숫자"에는 기울기가 없어요. 다시 쓰기 한 번이 그걸 고치고, VAE를 훨씬 넘어서 쓰여요.

무작위성을 고정된 종 모양 곡선에서 먼저 뽑으세요: N(0, 1)에서 eps. 그다음 거기서 코드를 만드세요:

code = mu + exp(logvar / 2) * eps

코드는 N(mu, spread)에서 뽑은 것과 정확히 같은 값의 퍼짐을 갖지만, 이제는 eps를 평범한 입력으로 둔 mu와 logvar에 대한 평범한 산술이에요. 기울기는 단순해요: d code / d mu = 1, d code / d logvar = 0.5 exp(logvar / 2) eps. 이게 재매개변수화 요령이에요.

작은 숫자

mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 × 0.5 = 1.5. mu로의 기울기: 1. logvar로의 기울기: 0.5 × 1 × 0.5 = 0.25.

그걸 위해 새 연산 하나, exp가 필요해요. 강좌 엔진에는 이미 하나 있지만(E.exp), 여기서는 모듈 4 방식으로 직접 만들어요: 순방향 값, 그리고 도착하는 기울기에 국소 기울기를 곱하는 역방향 규칙(exp의 기울기는 exp 자신이에요).

강좌 엔진에서 연산은 규칙 out.back = lambda g: parent._acc(g * local_slope)가 있는 텐서 out = E.T(value, (parent,))예요: back은 out에 도착하는 기울기를 받고, _acc는 부모에 기울기를 더해요. E.GUIDE가 엔진의 조각들을 출력해요.

이 레슨의 단어와 기호
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
VAE
변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
재매개변수화
code = mu + exp(logvar / 2) × eps, eps를 먼저 뽑아서 기울기가 mu와 logvar에 닿게 하기
내 차례

exp_op(a)를 엔진 연산으로 쓰세요(부모와 back 규칙이 있는 E.T를 반환). exp_op, E.scale, E.mul, E.add로 reparam(mu, logvar, eps)를 쓰세요. 그다음 두 기울기를 살짝 밀기와 대조하고 max_gap을 찾은 가장 큰 차이로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.