강의 계획 레슨 246개 중 122번째 · 모듈 10: 보는 신경망(CNN)
모듈 10: 보는 신경망(CNN)

훈련된 신경망 재사용하기(전이 학습)

왜 중요한가 자기 과제에 레이블 붙은 데이터가 많은 일은 드물어요. 크고 관련된 데이터셋으로 훈련된 신경망은 이미 쓸모 있는 특성을 알아요. 그걸 재사용하면 작은 데이터셋으로도 멀리 갈 수 있어요.

계획: 크고 깨끗한 도형 데이터셋으로 conv 층을 훈련하세요. 그다음 레이블 붙은 이미지가 40장뿐인 새롭고 더 어려운 과제를 마주해요: 같은 도형인데, 훨씬 잡음이 많아요. 훈련된 conv 층을 얼려 두고, 이미지 전체에 걸쳐 평균 낸 특성(위치와 무관한 특성은 적은 예시에서도 일반화돼요) 위에 새 마지막 층만 훈련하세요. 이미지 40장으로 신경망 전체를 처음부터 훈련하는 것과 비교하세요.

얼린: 훈련 중에 가중치가 업데이트되지 않는 층. 미세 조정: 사전 훈련된 신경망을 새 데이터로 계속 훈련하기.

이 레슨의 단어와 기호
전이 학습
한 과제에서 훈련한 층을 다른 과제에 재사용하기
RECORDED
강좌가 한 번 훈련해서 공부하라고 함께 보내는 진짜 실행
내 차례

사전 훈련은 강좌가 한 번 했고 그 가중치가 불러와져 있어요(기록된 신경망). 얼린 conv 층 위에 새 16에서 4로 가는 출력 층만 훈련하고(1e-2의 Adam이 돼요) predict 함수를 반환하는 train_head(w1, w2, X, y, steps)와, 새 무작위 가중치에서 세 층 모두를 훈련하는 train_scratch(X, y, steps)를 쓰세요. 테스트는 둘 다 잡음 섞인 테스트 이미지 1,000장에서 실행해요. 전이 모델은 강좌 자체의 처음부터 신경망(고정 설정: 8과 16채널, Adam 3e-3, 300걸음, 약 58%)을 적어도 8점 이겨야 해요. 강좌의 전이 실행은 약 72%를 받아요. 자기 처음부터 신경망은 무언가를 배우기만 하면 돼요(우연이 25%인 곳에서 35% 넘게). 자기 것이 강좌의 처음부터 신경망을 이긴다면 잘했어요: 처음부터 훈련을 잘 조정하는 건 진짜 기술이고, 공정한 비교가 설정을 미리 고정하는 이유이기도 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.