강의 계획 레슨 246개 중 173번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

자기 VAE가 새 숫자를 만들어요

왜 중요한가 모든 조각이 준비됐어요: 인코더의 mu와 logvar, 거쳐서 샘플링하는 요령, 재구성 손실, KL. 그걸 훈련 걸음 하나에 넣으면 아무도 그리지 않은 숫자를 만드는 모델이 생겨요.

훈련 걸음 하나, 말로:

  1. 배치를 인코딩하세요: mu, logvar = model.encode(E.T(x)).
  2. mu의 모양으로 N(0, 1)에서 eps를 뽑고, 자기 재매개변수화로 코드를 만드세요.
  3. 코드를 픽셀 점수로 디코딩하세요: model.decode_logits(code).
  4. 손실 = E.bce_with_logits(scores, x) + E.kl_to_standard(mu, logvar)(자기 KL의 강좌 엔진 버전).
  5. 역방향, 그다음 opt.step().

그다음 전과 같은 심판으로 판단하세요: N(0, 1)에서 뽑은 새 숫자 500개의 가까움과 다양성. 재구성 오차는 오토인코더보다 나쁠 거예요(약 0.03 대 0.008). 그게 당김 2의 대가이고, 그걸로 샘플링할 수 있는 코드 공간을 사요.

이 레슨의 단어와 기호
오토인코더
그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
VAE
변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
재매개변수화
code = mu + exp(logvar / 2) × eps, eps를 먼저 뽑아서 기울기가 mu와 logvar에 닿게 하기
가까움, 다양성
강좌의 심판: 가장 가까운 진짜 숫자까지의 거리, 그리고 열 숫자에 걸친 퍼짐의 비트
내 차례

훈련 반복문의 몸통을 쓰세요(그림 256장씩 600걸음). 통과 조건: 테스트 재구성 오차 0.035 아래, 가까움 많아야 1.30이고 다양성 적어도 3.0인 새 숫자, 그리고 활성 코드 숫자 적어도 3개. 자기 반복문을 쓰세요: 여기서 gen.train_vae는 금지예요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.