하나는 읽고, 하나는 써요: 병목
왜 중요한가 번역은 예전에 이렇게 했어요: RNN 하나가 문장을 벡터 하나로 읽고, 다른 하나가 거기서 출력을 써요. 그 벡터 하나가 병목이고, 그게 실패하는 걸 보는 것이 어텐션이 발명된 이유예요.
인코더-디코더: 인코더 RNN이 입력을 읽고, 그 마지막 은닉 상태가 디코더 RNN에 넘겨지고, 디코더는 각 답을 다시 넣으면서 한 번에 기호 하나씩 출력을 써요. 디코더가 입력에 대해 아는 모든 것은 숫자 48개짜리 그 벡터 하나를 비집고 지나가야 해요.
기록된 실험 seq2seq-bottleneck은 그런 신경망을 길이 4, 8, 12, 16의 숫자 시퀀스를 거꾸로 쓰도록, 각각 시드 둘로 훈련했어요. 어텐션이 있는 버전도 훈련했는데, 모듈 13에서 만날 거예요. 지금은 평범한 것만 보세요.
곡선 맞히기: 길이 16에서 평범한 모델의 숫자 정확도를 예측하세요. 우연은 10%예요.
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
- 인코더-디코더
- RNN 하나가 입력을 벡터로 읽고, 다른 하나가 거기서 출력을 써요
- 병목
- 모든 것이 비집고 지나가야 하는 벡터 하나
my_guess_16을 설정하고, 그다음 plain_acc를 채우세요: 길이에서 평범한 실행 둘의 평균 숫자 정확도로.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.