강의 계획 레슨 246개 중 120번째 · 모듈 10: 보는 신경망(CNN)
모듈 10: 보는 신경망(CNN)

더 깊은 신경망, 그리고 기록된 실행

왜 중요한가 층을 더 쌓으면 도움이 돼야 해요, 갑자기 그렇지 않을 때까지는요. 강좌가 이 실험을 자기 기계에서 훈련해 두어서, 열여덟 실행 전부를 몇 초 만에 볼 수 있어요.

기록된 실험 cnn-depth-shortcuts는 도형 데이터셋에서 conv 층이 2, 8, 20개(각각 16채널)인 CNN을, 각각 지름길(모듈 6의, 블록의 입력을 출력에 더하기)이 있을 때와 없을 때, 각각 시드 셋으로 훈련했어요. 나머지는 모두 같았어요: 훈련 이미지 2,000장, 에포크 4, Adam. 아무것도 훈련하지 않으니 재생은 즉시예요. 실제로 일어난 일을 읽는 거예요.

시드 셋인 건 모듈 9가 맞기 때문이에요: 실행 하나는 오해하게 할 수 있어요. 평균만이 아니라 각 설정의 퍼짐을 보세요.

먼저 곡선 맞히기: 어떤 설정이 가장 높은 평균 테스트 정확도로 끝날까요, 그리고 평범한 20층 신경망은 모든 시드에서 배울까요?

기록된 실행: 강좌가 한 번 만들어서 함께 보내는 진짜 훈련 실행. 그래서 레슨이 모든 노트북에서 실시간으로 훈련하기엔 너무 크거나 너무 많은 실행도 공부할 수 있어요. 모든 출력에 RECORDED라고 나와요.

이 레슨의 단어와 기호
RECORDED
강좌가 한 번 훈련해서 공부하라고 함께 보내는 진짜 실행
내 차례

my_best를 평균이 가장 높게 끝날 것 같은 (depth, shortcuts) 쌍으로, my_plain20_reliable을 평범한 20층 신경망이 시드 셋 모두에서 배울 것 같으면 True로 설정하세요. 그다음 nnsim.recorded로 final_acc를 채우세요: (depth, shortcuts)에서 시드 셋의 최종 테스트 정확도 리스트(시드 0이 먼저)로. mean_acc를 각 리스트의 평균으로, best를 평균이 가장 높은 쌍으로 설정하세요. exp.seeds(depth=..., shortcuts=...)가 한 설정의 실행 셋을 줘요. 우연은 0.25예요(도형 넷).

마지막으로 모듈 9의 잡음 규칙으로 어떤 설정이 정말 다른지 말하세요. 각각 시드 셋이면, 두 평균은 차이가 약 2 × s × sqrt(2/3)보다 클 때만 진짜로 달라요. 여기서 s는 두 설정의 시드 퍼짐(세 값의 np.std) 중 큰 것이에요. 그보다 가까우면 동점이에요.

ties_with_best를 그 규칙으로 best와 동점인 모든 쌍의 리스트로, best 자신을 포함해 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.