강의 계획 레슨 246개 중 129번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

LSTM 게이트, 만들어 보기

왜 중요한가 LSTM(1997년, 여기서 가르치는 forget 게이트는 2000년에 추가됨)은 RNN의 기억 문제를 고쳤고 20년 동안 음성 인식과 번역을 움직였어요. 그 요령은 한 번 보면 단순해요.

보기

애니메이션을 재생하세요. 은닉 상태 h 말고도 LSTM은 셀 c, 기억의 컨베이어 벨트를 지녀요. 각각 0과 1 사이의 sigmoid인 게이트 셋이 그것에 무슨 일이 일어날지 정해요:

  • forget 게이트 f: 옛 셀을 얼마나 지킬지,
  • input 게이트 i: 새 정보 g를 얼마나 써 넣을지,
  • output 게이트 o: 셀을 h로 얼마나 보여 줄지.
z = [x, h] @ W + b            # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)

핵심 줄은 c = f * c + i * g예요. 한 걸음 거슬러 가면 셀의 기울기에는 f가 곱해지고, 그 밖엔 아무것도: 가중치 행렬의 반복 곱셈이 없어요. 여전히 걸음마다 f만큼 줄어서, k걸음 뒤에는 f의 k제곱이에요. f = 0.95면 50걸음 뒤 0.08이고, f = 0.999면 0.95예요. 그래서 LSTM은 forget 게이트가 1에 아주 가깝게 머물 때 멀리 기억하고, 다음 레슨이 얼마나 가까워야 충분히 가까운지 재요.

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
은닉 상태 h
RNN이 걸음에서 걸음으로 지니는 짧은 숫자 벡터
LSTM
메모리 셀 c와 게이트 셋(forget, input, output)이 있는 RNN
내 차례

W의 모양이 (inputs + hidden, 4 * hidden)이고 네 부분의 순서가 i, f, g, o일 때 (h, c)를 반환하는 lstm_step(x, h, c, W, b)를 쓰세요. 입력은 배치로 와요: x는 (batch, inputs), h와 c는 (batch, hidden)이니, axis 1을 따라 x와 h를 이으세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.