모듈 11: 기억하는 신경망(RNN)
누가 기억하나? 기록된 실행
이 강좌를 전에 들은 적이 있나요?
한 번만 세기 위해서예요. 내 답만 익명의 진행 상황과 함께 보내져요.
왜 중요한가 교과서는 LSTM은 기억하고 평범한 RNN은 잊는다고 해요. 강좌가 그걸 시험했고, 진짜 답에는 하나라도 훈련하기 전에 알아 둘 가치가 있는 반전이 있어요.
기록된 실험 rnn-vs-lstm-memory: 신경망은 기호 넷 중 하나를 보고, 그다음 같은 알파벳에서 뽑은 기호 5, 15, 30, 60개의 틈을 본 뒤, 첫 기호가 무엇이었는지 말해야 해요. 신경망 세 종류, 각각 시드 셋:
- 평범한 tanh RNN,
- forget 게이트가 편향 1로 시작하는 LSTM(처음엔 걸음마다 셀의 약 73%를 지켜요),
- forget 게이트가 편향 3으로 시작하는 LSTM(약 95%).
실행을 읽기 전에 예측하세요: 틈 60에서 어떤 종류가 시드 셋 모두에서 성공할까요?
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
- LSTM
- 메모리 셀 c와 게이트 셋(forget, input, output)이 있는 RNN
내 차례
my_prediction을 "rnn", "lstm-forget-bias-1", "lstm-forget-bias-3" 중 하나로 설정하세요. 그다음 nnsim.recorded를 써서 successes를 채우세요: (cell, gap)에서 시드 셋 중 몇 개가 테스트 정확도 적어도 95%에 도달했는지로.
레슨 완료. 잘했어요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.