짜 넣고 다시 만들기(오토인코더)
왜 중요한가 지금까지의 모든 신경망은 그림을 레이블로 바꿨어요. 이 모듈은 그림을 새 그림으로 바꿔요. 첫 걸음은 그림을 숫자 몇 개로 짜 넣고 거기서 다시 만드는 신경망이에요. 그 숫자 몇 개가 새 그림이 나올 곳이에요.
오토인코더는 등을 맞댄 신경망 둘이에요. 인코더는 64픽셀 숫자를 숫자 16개, 그 코드로 짜 넣어요. 디코더는 그 숫자 16개로 64픽셀을 다시 만들어요. 훈련은 하나만 요구해요: 다시 만든 그림이 원본과 맞아야 해요.
아무도 숫자 16개가 무엇을 뜻해야 하는지 알려 주지 않아요. 스스로 숫자의 짧은 묘사를 찾아야 해요, 숫자 16개로는 64픽셀을 그냥 베낄 수 없으니까요.
작은 숫자
64픽셀 숫자가 숫자 16개가 돼요: 4 대 1로 짜 넣기. 다시 만든 픽셀이 평균 0.09 어긋나면 픽셀당 제곱 오차는 약 0.008이에요. 도달하게 될 오차의 크기예요.
손실을 재는 방법
각 픽셀은 0(빈칸)부터 1(잉크 가득)까지의 숫자라서, 디코더의 마지막 층은 픽셀마다 점수 하나를 주고 sigmoid가 그걸 0..1로 바꿔요. 손실은 모듈 3의 이진 교차 엔트로피를 픽셀 64개에 걸쳐 합하고 배치에 걸쳐 평균 낸 거예요. 강좌 엔진에는 이제 E.bce_with_logits(scores, pictures)로 있어요: sigmoid 전의 점수를 받아서, 0의 로그를 결코 취하지 않아요.
출력은 그림을 텍스트로도 출력해요: gen.show(pictures)는 각 8x8 숫자를 빈칸부터 잉크 가득까지의 농도로 출력해요.
이 레슨의 단어와 기호
- 오토인코더
- 그림을 숫자 몇 개로 짜 넣는 인코더와 그걸 다시 만드는 디코더
- 코드(잠재)
- 인코더가 그림 하나로 만드는 숫자 몇 개
- mu, logvar
- VAE에서 코드 숫자의 중심과 퍼짐 제곱의 로그
encode(x)를 쓰세요: ReLU가 있는 밀집 층(P['e1']), 그다음 숫자 16개로 가는 밀집 층(P['e2']). decode(code)도 같은 식으로 P['d1'], ReLU, P['d2']로 쓰고, sigmoid 전의 점수 64개를 반환하세요. 훈련 반복문은 써 두었어요. 테스트 재구성 오차를 픽셀당 0.012 아래로 도달하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.