LSTM 게이트, 만들어 보기
왜 중요한가 LSTM(1997년, 여기서 가르치는 forget 게이트는 2000년에 추가됨)은 RNN의 기억 문제를 고쳤고 20년 동안 음성 인식과 번역을 움직였어요. 그 요령은 한 번 보면 단순해요.
보기
애니메이션을 재생하세요. 은닉 상태 h 말고도 LSTM은 셀 c, 기억의 컨베이어 벨트를 지녀요. 각각 0과 1 사이의 sigmoid인 게이트 셋이 그것에 무슨 일이 일어날지 정해요:
- forget 게이트 f: 옛 셀을 얼마나 지킬지,
- input 게이트 i: 새 정보 g를 얼마나 써 넣을지,
- output 게이트 o: 셀을 h로 얼마나 보여 줄지.
z = [x, h] @ W + b # one matrix for all four parts
i, f, g, o = sigmoid, sigmoid, tanh, sigmoid of the four quarters of z
c = f * c + i * g
h = o * tanh(c)
핵심 줄은 c = f * c + i * g예요. 한 걸음 거슬러 가면 셀의 기울기에는 f가 곱해지고, 그 밖엔 아무것도: 가중치 행렬의 반복 곱셈이 없어요. 여전히 걸음마다 f만큼 줄어서, k걸음 뒤에는 f의 k제곱이에요. f = 0.95면 50걸음 뒤 0.08이고, f = 0.999면 0.95예요. 그래서 LSTM은 forget 게이트가 1에 아주 가깝게 머물 때 멀리 기억하고, 다음 레슨이 얼마나 가까워야 충분히 가까운지 재요.
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
- 은닉 상태 h
- RNN이 걸음에서 걸음으로 지니는 짧은 숫자 벡터
- LSTM
- 메모리 셀 c와 게이트 셋(forget, input, output)이 있는 RNN
W의 모양이 (inputs + hidden, 4 * hidden)이고 네 부분의 순서가 i, f, g, o일 때 (h, c)를 반환하는 lstm_step(x, h, c, W, b)를 쓰세요. 입력은 배치로 와요: x는 (batch, inputs), h와 c는 (batch, hidden)이니, axis 1을 따라 x와 h를 이으세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.