강의 계획 레슨 246개 중 126번째 · 모듈 11: 기억하는 신경망(RNN)
모듈 11: 기억하는 신경망(RNN)

문자 RNN

왜 중요한가 앞의 문자들로 다음 문자를 예측하는 것이 원래의 언어 모델이에요. 같은 생각을 키우면 챗봇이에요.

강좌 자체의 레슨 텍스트를 한 번에 한 문자씩 넣어요. 매 걸음 RNN은 상태를 업데이트하고 선형 층과 softmax로 다음 문자를 예측해요. 손실은 각 훈련 조각의 위치 16개에 걸친 평균 교차 엔트로피예요.

각 문자는 임베딩으로 들어가요: 문자의 인덱스로 찾아보는 학습된 숫자 행(모듈 12가 제대로 설명해요. 지금은 신경망이 훈련하는 찾아보기 표예요).

차트로 곡선 맞히기: 걸음 0과 200걸음 뒤의 손실을 추측하세요. 텍스트의 모든 문자에 걸친 고른 추측은 약 ln(V)를 줘요.

이 레슨의 단어와 기호
순환 신경망 (RNN)
한 번에 한 걸음씩 읽고 은닉 상태를 앞으로 지니는 신경망
엔트로피
분포가 얼마나 퍼져 있는지: 확실하면 0, n개 선택이 모두 같으면 ln(n)
내 차례

my_guess를 채우세요. 그다음 강좌 엔진으로 step_state(x_ids, h, P)를 쓰세요: tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). 그 둘레의 훈련 반복문은 써 두었어요. 200걸음 뒤에 마지막 20걸음에 걸친 평균 손실이 2.6 아래여야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.