강의 계획 레슨 246개 중 49번째 · 모듈 3: 뉴런에서 MLP까지
모듈 3: 뉴런에서 MLP까지

평범한 NumPy로 만든 숫자 판독기

왜 중요한가 이건 진짜 손글씨를 읽는 진짜 신경망이고, 모든 줄을 여러분이 썼어요. 라이브러리 없이 만든 고전적인 첫 신경망이에요.

데이터는 손글씨 숫자 1,797개이고, 각각 숫자 64개로 펼친 8 × 8 이미지예요(유명한 28 × 28 MNIST 세트의 작고 해상도 낮은 사촌이고, 다른 모음에서 왔어요). 신경망은 지난 레슨의 것이에요: 입력 64개, ReLU 뉴런 64개의 은닉층, 출력 10개.

훈련 반복문

  1. 가중치는 작고 무작위로 시작하세요: rng.normal(0, 0.1, shape), 편향은 0.
  2. 에포크마다 훈련 데이터를 섞고 32개짜리 미니배치로 훑으세요.
  3. 미니배치마다 forward_backward를 실행하고 모든 가중치를 그 기울기 반대로 한 걸음 옮기세요.

미니배치: 한 단계에 쓰는 데이터의 작은 무작위 조각. 매 단계 모든 데이터를 쓰는 것보다 훨씬 빠르고, 잡음이 도움이 되기까지 해요.

곡선 맞히기: my_guess에 에포크 1 뒤와 에포크 20 뒤의 훈련 손실을 추측하세요.

요약 섞고, 자르고, 순방향, 역방향, 걸음. 되풀이.

이 레슨의 단어와 기호
뉴런
w . x + b, 그다음 활성화
가중치 (w, W), 편향 (b)
뉴런이 배우는 숫자. 편향은 출력을 옮겨요
ReLU
max(0, z): 양수는 남기고, 음수는 0으로 만들어요
학습률 (lr)
각 훈련 단계가 얼마나 큰지
은닉층
입력과 출력 사이에서 새 특성을 만드는 층
내 차례

자기 forward_backward를 써서, 가중치의 딕셔너리를 반환하는 train(X, y, hidden, lr, epochs, seed)와 각 행의 예측 숫자를 반환하는 predict(params, X)를 쓰세요. my_guess를 채우세요. 숨겨진 테스트는 한 번도 훈련하지 않은 숫자 397개에서 정확도를 재요: 적어도 95%에 도달하세요. (lr 0.5, 에포크 20, 은닉 64면 돼요.)

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.