강의 계획 레슨 246개 중 169번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

모든 코드에 대한 두 당김(보기)

왜 중요한가 해결책은 코드가 알려진 모양으로 공간을 채우게 해서, 그 모양에서 뽑은 무작위 점이 디코더가 그리는 법을 배운 곳에 떨어지게 하는 거예요. 변분 오토인코더(VAE)는 모든 코드에 대한 두 당김으로 그걸 해요.

먼저 장면을 보세요. 각 문자는 테스트 숫자 하나이고, 그 코드 숫자 2개가 두는 곳에 숫자 자체로 그려져 있어요. 7들은 한 무리를 따라갈 수 있게 색칠돼 있어요.

  • 당김 1, 잘 다시 만들기: 서로 다른 숫자의 코드는 떨어져 있어야 해요, 아니면 디코더가 구별할 수 없어요.
  • 당김 2, 중심 근처에 머물기: 모든 코드가 중심 쪽으로 당겨지고 조금 흐릿해져서(점이 아니라 작은 구름), 코드가 중심 둘레의 종 모양 곡선 N(0, 1)을 틈 없이 채워요.

그러면 샘플링은: N(0, 1)에서 점을 뽑아 디코딩하기. 코드가 그 영역을 채우니, 점은 디코더가 아는 어딘가에 떨어져요.

VAE에서 인코더는 코드 숫자마다 두 가지를 줘요: 중심 mu와, logvar(퍼짐 제곱의 로그로, 어떤 숫자든 될 수 있어요)로 쓴 퍼짐. 코드는 N(mu, spread)에서 뽑은 거예요. gen.train_vae가 하나를 훈련하고, rebuild_weight와 weight가 각 당김의 세기를 정해요.

먼저 예측하세요: 당김 2를 없애면 코드에 무슨 일이 일어날까요? 당김 1을 없애면?

이 레슨의 단어와 기호
오토인코더
그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
VAE
변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
내 차례

두 제거 모두에 대해 guess를 "spread out", "all at the centre", "no change" 중 하나로 설정하세요. 그다음 숫자 2개짜리 VAE 셋을 훈련하고(브라우저에서 각각 1~2초) 각각에 대해 spread를 중심에서 테스트 코드까지의 평균 거리로, noise를 평균 퍼짐 exp(logvar / 2)로 채우세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.