모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
자기 VAE가 새 숫자를 만들어요
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 모든 조각이 준비됐어요: 인코더의 mu와 logvar, 거쳐서 샘플링하는 요령, 재구성 손실, KL. 그걸 훈련 걸음 하나에 넣으면 아무도 그리지 않은 숫자를 만드는 모델이 생겨요.
훈련 걸음 하나, 말로:
- 배치를 인코딩하세요:
mu, logvar = model.encode(E.T(x)). - mu의 모양으로 N(0, 1)에서 eps를 뽑고, 자기 재매개변수화로 코드를 만드세요.
- 코드를 픽셀 점수로 디코딩하세요:
model.decode_logits(code). - 손실 =
E.bce_with_logits(scores, x)+E.kl_to_standard(mu, logvar)(자기 KL의 강좌 엔진 버전). - 역방향, 그다음
opt.step().
그다음 전과 같은 심판으로 판단하세요: N(0, 1)에서 뽑은 새 숫자 500개의 가까움과 다양성. 재구성 오차는 오토인코더보다 나쁠 거예요(약 0.03 대 0.008). 그게 당김 2의 대가이고, 그걸로 샘플링할 수 있는 코드 공간을 사요.
이 레슨의 단어와 기호
- 오토인코더
- 그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- VAE
- 변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
- 재매개변수화
- code = mu + exp(logvar / 2) × eps, eps를 먼저 뽑아서 기울기가 mu와 logvar에 닿게 하기
- 가까움, 다양성
- 강좌의 심판: 가장 가까운 진짜 숫자까지의 거리, 그리고 열 숫자에 걸친 퍼짐의 비트
내 차례
훈련 반복문의 몸통을 쓰세요(그림 256장씩 600걸음). 통과 조건: 테스트 재구성 오차 0.035 아래, 가까움 많아야 1.30이고 다양성 적어도 3.0인 새 숫자, 그리고 활성 코드 숫자 적어도 3개. 자기 반복문을 쓰세요: 여기서 gen.train_vae는 금지예요.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.