강의 계획 레슨 246개 중 130번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

누가 기억하나? 기록된 실행

왜 중요한가 교과서는 LSTM은 기억하고 평범한 RNN은 잊는다고 해요. 강좌가 그걸 시험했고, 진짜 답에는 하나라도 훈련하기 전에 알아 둘 가치가 있는 반전이 있어요.

기록된 실험 rnn-vs-lstm-memory: 신경망은 기호 넷 중 하나를 보고, 그다음 같은 알파벳에서 뽑은 기호 5, 15, 30, 60개의 틈을 본 뒤, 첫 기호가 무엇이었는지 말해야 해요. 신경망 세 종류, 각각 시드 셋:

  • 평범한 tanh RNN,
  • forget 게이트가 편향 1로 시작하는 LSTM(처음엔 걸음마다 셀의 약 73%를 지켜요),
  • forget 게이트가 편향 3으로 시작하는 LSTM(약 95%).

실행을 읽기 전에 예측하세요: 틈 60에서 어떤 종류가 시드 셋 모두에서 성공할까요?

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
LSTM
메모리 셀 c와 게이트 셋(forget, input, output)이 있는 RNN
내 차례

my_prediction을 "rnn", "lstm-forget-bias-1", "lstm-forget-bias-3" 중 하나로 설정하세요. 그다음 nnsim.recorded를 써서 successes를 채우세요: (cell, gap)에서 시드 셋 중 몇 개가 테스트 정확도 적어도 95%에 도달했는지로.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.