모든 코드에 대한 두 당김(보기)
왜 중요한가 해결책은 코드가 알려진 모양으로 공간을 채우게 해서, 그 모양에서 뽑은 무작위 점이 디코더가 그리는 법을 배운 곳에 떨어지게 하는 거예요. 변분 오토인코더(VAE)는 모든 코드에 대한 두 당김으로 그걸 해요.
먼저 장면을 보세요. 각 문자는 테스트 숫자 하나이고, 그 코드 숫자 2개가 두는 곳에 숫자 자체로 그려져 있어요. 7들은 한 무리를 따라갈 수 있게 색칠돼 있어요.
- 당김 1, 잘 다시 만들기: 서로 다른 숫자의 코드는 떨어져 있어야 해요, 아니면 디코더가 구별할 수 없어요.
- 당김 2, 중심 근처에 머물기: 모든 코드가 중심 쪽으로 당겨지고 조금 흐릿해져서(점이 아니라 작은 구름), 코드가 중심 둘레의 종 모양 곡선 N(0, 1)을 틈 없이 채워요.
그러면 샘플링은: N(0, 1)에서 점을 뽑아 디코딩하기. 코드가 그 영역을 채우니, 점은 디코더가 아는 어딘가에 떨어져요.
VAE에서 인코더는 코드 숫자마다 두 가지를 줘요: 중심 mu와, logvar(퍼짐 제곱의 로그로, 어떤 숫자든 될 수 있어요)로 쓴 퍼짐. 코드는 N(mu, spread)에서 뽑은 거예요. gen.train_vae가 하나를 훈련하고, rebuild_weight와 weight가 각 당김의 세기를 정해요.
먼저 예측하세요: 당김 2를 없애면 코드에 무슨 일이 일어날까요? 당김 1을 없애면?
이 레슨의 단어와 기호
- 오토인코더
- 그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- VAE
- 변분 오토인코더: 코드가 N(0, 1)을 채우도록 당겨져서, 무작위 코드가 새 그림으로 디코딩되는 오토인코더
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
두 제거 모두에 대해 guess를 "spread out", "all at the centre", "no change" 중 하나로 설정하세요. 그다음 숫자 2개짜리 VAE 셋을 훈련하고(브라우저에서 각각 1~2초) 각각에 대해 spread를 중심에서 테스트 코드까지의 평균 거리로, noise를 평균 퍼짐 exp(logvar / 2)로 채우세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.