강의 계획 레슨 246개 중 91번째 · 모듈 7: 새 데이터에서 작업하기
모듈 7: 새 데이터에서 작업하기

이중 하강

왜 중요한가 "매개변수가 많을수록 과적합이 많다"는 교과서 규칙은 큰 모델에서 깨져요. 왜인지 보면 모델 크기에 대한 생각이 바뀌어요.

보기

애니메이션을 재생하세요. 쓸 수 있는 특성 400개 중 처음 p개만 써서 훈련 점 40개를 맞추고, 정확한 맞춤 중 가중치가 가장 작은 것을 골라요. p가 훈련 점의 수(40)로 커지면서 테스트 오차가 천천히, 그다음 가파르게, 둘이 정확히 같아지는 곳의 정점까지 올라가요. 거기서 모델은 모든 훈련 점을 맞힐 자유가 딱 충분하고, 그렇게 하는 방법이 하나뿐인데, 보통 거친 방법이에요. 정점을 지나면 정확한 맞춤이 많고 가중치가 가장 작은 걸 고르면 부드러운 맞춤이 돼요: 테스트 오차가 다시 떨어지고, 특성이 충분하면 작은 모델보다 낮게 끝나요.

보간 문턱: 모델이 훈련 데이터를 정확히 딱 맞출 수 있는 크기. 이중 하강은 거기서 정점을 찍어요.

곡선 맞히기: 테스트 오차가 가장 높은 특성 수와, p = 400이 p = 5를 이기는지 예측하세요.

숫자를 정직하게 읽기

이 장난감은 잘 예측하려는 게 아니라 곡선의 모양을 보여 주려고 만든 거예요. 신호가 특성 400개 전부에 얇게 퍼져 있고 훈련 점은 40개뿐이라, 여기 모든 모델이 나빠요: 모든 것에 0을 예측하면 테스트 오차 중앙값이 약 1.01, p = 5는 약 1.11, p = 400은 약 0.91이에요. p = 40의 정점은 약 36이에요. 두 번째 하강은 진짜지만, "아무것도 예측하지 않기"보다 조금 아래에 떨어질 뿐이에요.

정점에는 이미 아는 치료법도 있어요. 가중치가 가장 작은 정확한 맞춤 대신 검증 데이터로 강도를 고른 가중치 감쇠(ridge)는 p = 40을 포함해 모든 크기에서 오차를 1.0 근처로 지켜요(약 1.02). 이중 하강은 정확한 맞춤에 일어나는 일이고, 조정한 정규화는 그 뾰족함을 없애요.

이 레슨의 단어와 기호
과적합, 과소적합
훈련 데이터의 잡음까지 맞추기, 또는 패턴을 맞추기엔 너무 단순하기
ridge (alpha)
강도 alpha의 가중치 감쇠가 있는 최소 제곱
보간 문턱
훈련 데이터를 정확히 딱 맞출 수 있는 모델 크기
내 차례

my_peak와 my_400_beats_5를 채우세요. 그다음 test_error(p)를 쓰세요: 시드 0~19에 대해 np.linalg.pinv(X[:, :p]) @ y로 맞추고, 테스트 평균 제곱 오차를 재고, 시드에 걸친 중앙값을 반환하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.