강의 계획 레슨 246개 중 125번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

시퀀스와 상태

왜 중요한가 텍스트, 말, 가격, 센서 값은 한 번에 한 걸음씩 도착하고, 앞에 온 것이 다음에 올 것을 바꿔요. 순환 신경망은 누적 요약을 앞으로 지니고 가요.

순환 신경망(RNN)은 짧은 벡터인 은닉 상태 h를 지녀요. 매 걸음 새 입력을 옛 상태와 섞고 결과를 눌러 넣어요:

h = tanh(x_t @ Wx + h @ Wh + b)

매 걸음 같은 가중치를 써요, CNN이 모든 위치에서 필터를 재사용하듯이요. 마지막 h는 신경망이 읽은 모든 것에 달려 있으니, 시퀀스 전체의 (손실이 있는) 기억이에요.

작은 숫자

입력 숫자 하나, 은닉 숫자 하나, Wx = 1, Wh = 0.5, b = 0, h는 0에서 시작해요. 1을 읽고 그다음 0을 읽으면: h = tanh(1) = 0.76, 그다음 h = tanh(0 + 0.38) = 0.36. 첫 입력이 두 번째 걸음 뒤에도 상태에 흐려지며 여전히 보여요.

은닉 상태: RNN이 걸음에서 걸음으로 지니는 벡터. 순환: 자기 출력을 입력으로 다시 넣기.

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
내 차례

rnn_forward(xs, Wx, Wh, b)를 쓰세요: xs는 모양 (steps, input size)이에요. 0 상태에서 시작해서 각 걸음 뒤의 은닉 상태 리스트를 반환하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.