강의 계획 레슨 246개 중 119번째 · 모듈 10: 보는 신경망(CNN)
모듈 10: 보는 신경망(CNN)

숫자에 대한 작은 CNN

왜 중요한가 이건 1998년 LeNet의 생각이에요: 합성곱, 풀링, 합성곱, 풀링, 그다음 분류기. 얻어 낸 강좌 층들로 만들고 옮긴 숫자에서 MLP를 이기는 걸 보세요.

강좌 라이브러리 nnsim.engine에는 직접 만든 층들이 있어요: conv(3 × 3, same 패딩), relu, pool2(2 × 2 평균), gap(전역 평균 풀링), matmul, cross_entropy, Adam. C_in에서 C_out 채널로 가는 3 × 3 필터의 conv 가중치는 모양이 (9 * C_in, C_out)이에요.

카드 한 장으로 보는 강좌 라이브러리(강좌의 나머지 내내 가까이 두세요. 어떤 레슨에서든 print(E.GUIDE)가 다시 보여 줘요)

  • E.T(array)는 숫자를 텐서로 감싸요. .data는 배열(float32)이고, .grad는 backward()가 닿을 때까지 None이에요.
  • loss.backward()는 손실이 의존하는 모든 텐서의 .grad를 채워요.
  • opt = E.Adam(params, lr)은 텐서의 리스트를 받아요. opt.step()은 기울기가 있는 모든 텐서를 업데이트하고 그다음 그 .grad를 다시 None으로 설정하니, 기울기를 직접 0으로 만들 일이 없어요.
  • 이미지는 채널이 마지막이에요: (batch, rows, columns, channels). E.conv(x, w)는 크기를 유지하고(same 패딩) 모양 (9 * C, F)인 w로 채널 C개를 F개로 바꿔요. E.pool2는 행과 열을 반으로 줄이고, E.gap은 그걸 평균 내 없애서 (batch, channels)를 줘요.
  • E.cross_entropy(logits, y): 로짓 (batch, classes)는 텐서로, y는 평범한 정수 배열로. 숫자 하나를 담은 텐서를 반환하고, float(loss.data)가 그걸 읽어요.
  • 훈련 걸음 전체는 세 줄이에요: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • 기록된 실행: print(R.experiment(name))은 그 설정과 지표 이름을 나열해요. run = exp.run(setting=value, ...), 그다음 run.loss(걸음과 손실의 쌍), run.metrics(딕셔너리), run.final_loss.

차트로 곡선 맞히기: 에포크 1 뒤와 에포크 8(마지막) 뒤의 훈련 손실을 추측하세요.

이 레슨의 단어와 기호
합성곱
작은 가중치 격자(필터)를 이미지 위로 미끄러뜨리며, 위치마다 내적 하나
필터, 특성 맵
학습한 작은 가중치 격자, 그리고 그 반응들의 이미지
패딩 (p), 스트라이드 (s)
가장자리 둘레에 더한 0들, 필터가 걸음마다 움직이는 픽셀 수
풀링
각 블록의 최댓값이나 평균을 남겨서 맵을 줄이기
RECORDED
강좌가 한 번 훈련해서 공부하라고 함께 보내는 진짜 실행
내 차례

my_guess를 채우고, 그다음 함수 predict(X)를 반환하는 train(epochs, seed)를 쓰세요. conv(1에서 16) + relu, conv(16에서 32) + relu, 전역 평균 풀링, 그다음 10개 클래스로 가는 선형 층을 쓰세요. 테스트 숫자에서 적어도 90%, 2픽셀 옮긴 테스트 숫자에서 적어도 60%에 도달하세요(MLP는 거기서 약 21%를 받았어요). 옮긴 점수는 시드마다 많이 움직여서(강좌 자체의 답은 시드 다섯에 걸쳐 0.76~0.89를 받아요), 기준을 그보다 한참 아래에 뒀어요. 여기서는 학습률 약 1e-2의 Adam이 돼요. 3e-3이면 이 작은 신경망은 레슨에 비해 너무 천천히 배워요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.