강의 계획 레슨 246개 중 167번째 · 모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)
모듈 15: 짜 넣고, 다시 만들고, 생성하기(오토인코더와 VAE)

짜 넣고 다시 만들기(오토인코더)

왜 중요한가 지금까지의 모든 신경망은 그림을 레이블로 바꿨어요. 이 모듈은 그림을 새 그림으로 바꿔요. 첫 걸음은 그림을 숫자 몇 개로 짜 넣고 거기서 다시 만드는 신경망이에요. 그 숫자 몇 개가 새 그림이 나올 곳이에요.

오토인코더는 등을 맞댄 신경망 둘이에요. 인코더는 64픽셀 숫자를 숫자 16개, 그 코드로 짜 넣어요. 디코더는 그 숫자 16개로 64픽셀을 다시 만들어요. 훈련은 하나만 요구해요: 다시 만든 그림이 원본과 맞아야 해요.

아무도 숫자 16개가 무엇을 뜻해야 하는지 알려 주지 않아요. 스스로 숫자의 짧은 묘사를 찾아야 해요, 숫자 16개로는 64픽셀을 그냥 베낄 수 없으니까요.

작은 숫자

64픽셀 숫자가 숫자 16개가 돼요: 4 대 1로 짜 넣기. 다시 만든 픽셀이 평균 0.09 어긋나면 픽셀당 제곱 오차는 약 0.008이에요. 도달하게 될 오차의 크기예요.

손실을 재는 방법

각 픽셀은 0(빈칸)부터 1(잉크 가득)까지의 숫자라서, 디코더의 마지막 층은 픽셀마다 점수 하나를 주고 sigmoid가 그걸 0..1로 바꿔요. 손실은 모듈 3의 이진 교차 엔트로피를 픽셀 64개에 걸쳐 합하고 배치에 걸쳐 평균 낸 거예요. 강좌 엔진에는 이제 E.bce_with_logits(scores, pictures)로 있어요: sigmoid 전의 점수를 받아서, 0의 로그를 결코 취하지 않아요.

출력은 그림을 텍스트로도 출력해요: gen.show(pictures)는 각 8x8 숫자를 빈칸부터 잉크 가득까지의 농도로 출력해요.

이 레슨의 단어와 기호
오토인코더
그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
코드(잠재)
인코더가 그림 하나로 만드는 숫자 몇 개
mu, logvar
VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
내 차례

encode(x)를 쓰세요: ReLU가 있는 밀집 층(P['e1']), 그다음 숫자 16개로 가는 밀집 층(P['e2']). decode(code)도 같은 식으로 P['d1'], ReLU, P['d2']로 쓰고, sigmoid 전의 점수 64개를 반환하세요. 훈련 반복문은 써 두었어요. 테스트 재구성 오차를 픽셀당 0.012 아래로 도달하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.