시퀀스와 상태
왜 중요한가 텍스트, 말, 가격, 센서 값은 한 번에 한 걸음씩 도착하고, 앞에 온 것이 다음에 올 것을 바꿔요. 순환 신경망은 누적 요약을 앞으로 지니고 가요.
순환 신경망(RNN)은 짧은 벡터인 은닉 상태 h를 지녀요. 매 걸음 새 입력을 옛 상태와 섞고 결과를 눌러 넣어요:
h = tanh(x_t @ Wx + h @ Wh + b)
매 걸음 같은 가중치를 써요, CNN이 모든 위치에서 필터를 재사용하듯이요. 마지막 h는 신경망이 읽은 모든 것에 달려 있으니, 시퀀스 전체의 (손실이 있는) 기억이에요.
작은 숫자
입력 숫자 하나, 은닉 숫자 하나, Wx = 1, Wh = 0.5, b = 0, h는 0에서 시작해요. 1을 읽고 그다음 0을 읽으면: h = tanh(1) = 0.76, 그다음 h = tanh(0 + 0.38) = 0.36. 첫 입력이 두 번째 걸음 뒤에도 상태에 흐려지며 여전히 보여요.
은닉 상태: RNN이 걸음에서 걸음으로 지니는 벡터. 순환: 자기 출력을 입력으로 다시 넣기.
이 레슨의 단어와 기호
- 순환 신경망 (RNN)
- 한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
rnn_forward(xs, Wx, Wh, b)를 쓰세요: xs는 모양 (steps, input size)이에요. 0 상태에서 시작해서 각 걸음 뒤의 은닉 상태 리스트를 반환하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.