숫자에 대한 작은 CNN
왜 중요한가 이건 1998년 LeNet의 생각이에요: 합성곱, 풀링, 합성곱, 풀링, 그다음 분류기. 얻어 낸 강좌 층들로 만들고 옮긴 숫자에서 MLP를 이기는 걸 보세요.
강좌 라이브러리 nnsim.engine에는 직접 만든 층들이 있어요: conv(3 × 3, same 패딩), relu, pool2(2 × 2 평균), gap(전역 평균 풀링), matmul, cross_entropy, Adam. C_in에서 C_out 채널로 가는 3 × 3 필터의 conv 가중치는 모양이 (9 * C_in, C_out)이에요.
카드 한 장으로 보는 강좌 라이브러리(강좌의 나머지 내내 가까이 두세요. 어떤 레슨에서든 print(E.GUIDE)가 다시 보여 줘요)
E.T(array)는 숫자를 텐서로 감싸요..data는 배열(float32)이고,.grad는backward()가 닿을 때까지None이에요.loss.backward()는 손실이 의존하는 모든 텐서의.grad를 채워요.opt = E.Adam(params, lr)은 텐서의 리스트를 받아요.opt.step()은 기울기가 있는 모든 텐서를 업데이트하고 그다음 그.grad를 다시None으로 설정하니, 기울기를 직접 0으로 만들 일이 없어요.- 이미지는 채널이 마지막이에요: (batch, rows, columns, channels).
E.conv(x, w)는 크기를 유지하고(same 패딩) 모양 (9 * C, F)인w로 채널 C개를 F개로 바꿔요.E.pool2는 행과 열을 반으로 줄이고,E.gap은 그걸 평균 내 없애서 (batch, channels)를 줘요. E.cross_entropy(logits, y): 로짓 (batch, classes)는 텐서로, y는 평범한 정수 배열로. 숫자 하나를 담은 텐서를 반환하고,float(loss.data)가 그걸 읽어요.- 훈련 걸음 전체는 세 줄이에요:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - 기록된 실행:
print(R.experiment(name))은 그 설정과 지표 이름을 나열해요.run = exp.run(setting=value, ...), 그다음run.loss(걸음과 손실의 쌍),run.metrics(딕셔너리),run.final_loss.
차트로 곡선 맞히기: 에포크 1 뒤와 에포크 8(마지막) 뒤의 훈련 손실을 추측하세요.
이 레슨의 단어와 기호
- 합성곱
- 작은 가중치 격자(필터)를 이미지 위로 미끄러뜨리며, 위치마다 내적 하나
- 필터, 특성 맵
- 학습한 작은 가중치 격자, 그리고 그 반응들의 이미지
- 패딩 (p), 스트라이드 (s)
- 가장자리 둘레에 더한 0들, 필터가 걸음마다 움직이는 픽셀 수
- 풀링
- 각 블록의 최댓값이나 평균을 남겨서 맵을 줄이기
- RECORDED
- 강좌가 한 번 훈련해서 공부하라고 함께 보내는 진짜 실행
my_guess를 채우고, 그다음 함수 predict(X)를 반환하는 train(epochs, seed)를 쓰세요. conv(1에서 16) + relu, conv(16에서 32) + relu, 전역 평균 풀링, 그다음 10개 클래스로 가는 선형 층을 쓰세요. 테스트 숫자에서 적어도 90%, 2픽셀 옮긴 테스트 숫자에서 적어도 60%에 도달하세요(MLP는 거기서 약 21%를 받았어요). 옮긴 점수는 시드마다 많이 움직여서(강좌 자체의 답은 시드 다섯에 걸쳐 0.76~0.89를 받아요), 기준을 그보다 한참 아래에 뒀어요. 여기서는 학습률 약 1e-2의 Adam이 돼요. 3e-3이면 이 작은 신경망은 레슨에 비해 너무 천천히 배워요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.