강의 계획 레슨 246개 중 132번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

하나는 읽고, 하나는 써요: 병목

왜 중요한가 번역은 예전에 이렇게 했어요: RNN 하나가 문장을 벡터 하나로 읽고, 다른 하나가 거기서 출력을 써요. 그 벡터 하나가 병목이고, 그게 실패하는 걸 보는 것이 어텐션이 발명된 이유예요.

인코더-디코더: 인코더 RNN이 입력을 읽고, 그 마지막 은닉 상태가 디코더 RNN에 넘겨지고, 디코더는 각 답을 다시 넣으면서 한 번에 기호 하나씩 출력을 써요. 디코더가 입력에 대해 아는 모든 것은 숫자 48개짜리 그 벡터 하나를 비집고 지나가야 해요.

기록된 실험 seq2seq-bottleneck은 그런 신경망을 길이 4, 8, 12, 16의 숫자 시퀀스를 거꾸로 쓰도록, 각각 시드 둘로 훈련했어요. 어텐션이 있는 버전도 훈련했는데, 모듈 13에서 만날 거예요. 지금은 평범한 것만 보세요.

곡선 맞히기: 길이 16에서 평범한 모델의 숫자 정확도를 예측하세요. 우연은 10%예요.

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
인코더-디코더
RNN 하나가 입력을 벡터로 읽고, 다른 하나가 거기서 출력을 써요
병목
모든 것이 비집고 지나가야 하는 벡터 하나
내 차례

my_guess_16을 설정하고, 그다음 plain_acc를 채우세요: 길이에서 평범한 실행 둘의 평균 숫자 정확도로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.