그걸 거쳐 훈련할 수 있는 샘플링
왜 중요한가 코드는 N(mu, spread)에서 뽑은 무작위 값이에요. 역전파에는 손실에서 mu와 logvar로 가는 기울기가 필요한데, "무작위 숫자"에는 기울기가 없어요. 다시 쓰기 한 번이 그걸 고치고, VAE를 훨씬 넘어서 쓰여요.
무작위성을 고정된 종 모양 곡선에서 먼저 뽑으세요: N(0, 1)에서 eps. 그다음 거기서 코드를 만드세요:
code = mu + exp(logvar / 2) * eps
코드는 N(mu, spread)에서 뽑은 것과 정확히 같은 값의 퍼짐을 갖지만, 이제는 eps를 평범한 입력으로 둔 mu와 logvar에 대한 평범한 산술이에요. 기울기는 단순해요: d code / d mu = 1, d code / d logvar = 0.5 exp(logvar / 2) eps. 이게 재매개변수화 요령이에요.
작은 숫자
mu = 1, logvar = 0, eps = 0.5: code = 1 + 1 × 0.5 = 1.5. mu로의 기울기: 1. logvar로의 기울기: 0.5 × 1 × 0.5 = 0.25.
그걸 위해 새 연산 하나, exp가 필요해요. 강좌 엔진에는 이미 하나 있지만(E.exp), 여기서는 모듈 4 방식으로 직접 만들어요: 순방향 값, 그리고 도착하는 기울기에 국소 기울기를 곱하는 역방향 규칙(exp의 기울기는 exp 자신이에요).
강좌 엔진에서 연산은 규칙 out.back = lambda g: parent._acc(g * local_slope)가 있는 텐서 out = E.T(value, (parent,))예요: back은 out에 도착하는 기울기를 받고, _acc는 부모에 기울기를 더해요. E.GUIDE가 엔진의 조각들을 출력해요.
이 레슨의 단어와 기호
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- VAE
- 변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
- 재매개변수화
- code = mu + exp(logvar / 2) × eps, eps를 먼저 뽑아서 기울기가 mu와 logvar에 닿게 하기
exp_op(a)를 엔진 연산으로 쓰세요(부모와 back 규칙이 있는 E.T를 반환). exp_op, E.scale, E.mul, E.add로 reparam(mu, logvar, eps)를 쓰세요. 그다음 두 기울기를 살짝 밀기와 대조하고 max_gap을 찾은 가장 큰 차이로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.