평범한 NumPy로 만든 숫자 판독기
왜 중요한가 이건 진짜 손글씨를 읽는 진짜 신경망이고, 모든 줄을 여러분이 썼어요. 라이브러리 없이 만든 고전적인 첫 신경망이에요.
데이터는 손글씨 숫자 1,797개이고, 각각 숫자 64개로 펼친 8 × 8 이미지예요(유명한 28 × 28 MNIST 세트의 작고 해상도 낮은 사촌이고, 다른 모음에서 왔어요). 신경망은 지난 레슨의 것이에요: 입력 64개, ReLU 뉴런 64개의 은닉층, 출력 10개.
훈련 반복문
- 가중치는 작고 무작위로 시작하세요:
rng.normal(0, 0.1, shape), 편향은 0. - 에포크마다 훈련 데이터를 섞고 32개짜리 미니배치로 훑으세요.
- 미니배치마다
forward_backward를 실행하고 모든 가중치를 그 기울기 반대로 한 걸음 옮기세요.
미니배치: 한 단계에 쓰는 데이터의 작은 무작위 조각. 매 단계 모든 데이터를 쓰는 것보다 훨씬 빠르고, 잡음이 도움이 되기까지 해요.
곡선 맞히기: my_guess에 에포크 1 뒤와 에포크 20 뒤의 훈련 손실을 추측하세요.
요약 섞고, 자르고, 순방향, 역방향, 걸음. 되풀이.
이 레슨의 단어와 기호
- 뉴런
- w . x + b, 그다음 활성화
- 가중치 (w, W), 편향 (b)
- 뉴런이 배우는 숫자. 편향은 출력을 옮겨요
- ReLU
- max(0, z): 양수는 남기고, 음수는 0으로 만들어요
- 학습률 (lr)
- 각 훈련 단계가 얼마나 큰지
- 은닉층
- 입력과 출력 사이에서 새 특성을 만드는 층
자기 forward_backward를 써서, 가중치의 딕셔너리를 반환하는 train(X, y, hidden, lr, epochs, seed)와 각 행의 예측 숫자를 반환하는 predict(params, X)를 쓰세요. my_guess를 채우세요. 숨겨진 테스트는 한 번도 훈련하지 않은 숫자 397개에서 정확도를 재요: 적어도 95%에 도달하세요. (lr 0.5, 에포크 20, 은닉 64면 돼요.)
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.