강의 계획 레슨 250개 중 95번째 · 첫 머신러닝 모델
첫 머신러닝 모델

과소적합과 과적합

이것이 모든 머신러닝의 중심 긴장이고, 이제 그것을 직접 볼 도구가 있어요. 모델은 정반대의 두 방식으로 실패할 수 있어요.

  • 과소적합: 모델이 너무 단순해서 패턴을 잡지 못해요. 훈련 데이터와 테스트 데이터 모두에서 잘 못해요. 분명히 휘어 있는 데이터에 직선을 긋는 걸 떠올리세요.
  • 과적합: 모델이 너무 복잡해서 잡음과 별난 점까지 포함해 훈련 데이터를 외워요. 일반 규칙 대신 구체적인 예시를 배웠으니, 훈련에서는 훌륭하지만 테스트에서는 나빠요.

결정 트리의 복잡도는 허용된 질문 층의 수인 max_depth로 조절해요:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited

깊이 1 트리는 질문을 하나만 할 수 있으니 투박할 수밖에 없고 과소적합하기 쉬워요. 깊이 제한 없는 트리는 훈련 행을 하나하나 떼어 낼 때까지 계속 나뉘니, 훈련 정확도를 완벽한 1.0까지 끌어올리면서도 본 적 없는 테스트 행에서는 더 못할 수 있어요.

과적합의 뚜렷한 표시는 틈이에요: 테스트 정확도보다 훨씬 높은 훈련 정확도. 모델을 다듬는 기술 전체가 테스트 데이터에서 잘하는 중간 복잡도를 찾는 것이고, 그게 유일하게 중요한 점수예요.

얕은 트리와 깊은 트리를 둘 다 훈련하고, 각각의 훈련과 테스트 정확도를 기록하고, 과적합 틈을 계산해서 그 관계가 숫자로 바로 보이게 해요.

내 차례

잡음 섞인 데이터셋과 훈련/테스트 분할이 이미 준비되어 있어요. 훈련 데이터로 shallow = DecisionTreeClassifier(max_depth=1, random_state=0)와 deep = DecisionTreeClassifier(max_depth=None, random_state=0)를 훈련하세요. 숫자 네 개를 기록하세요: shallow_train, shallow_test, deep_train, deep_test(각 트리의 해당 세트에서의 정확도). 그다음 overfit_gap = deep_train - deep_test로 정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.