강의 계획 레슨 246개 중 87번째 · 모듈 7: 새 데이터에서 작업하기
모듈 7: 새 데이터에서 작업하기

편향과 분산, 그리고 사전 분포로서의 가중치 감쇠

왜 중요한가 과적합은 틈으로 나타나요: 새 데이터의 오차보다 훨씬 낮은 훈련 오차. 그런 모든 틈 뒤에는 잴 수 있는 원인 둘이 있고, 서로 다른 치료가 필요해요.

같은 출처에서 새 훈련 세트 다섯 개를 뽑고 각각에 같은 종류의 모델을 맞추세요. 한 점에서의 예측 다섯 개를 보세요:

  • 모두 일치하지만 모두 같은 식으로 틀리면: 높은 편향(너무 단순).
  • 서로 크게 다르면: 높은 분산(너무 유연해서 세트마다의 잡음을 쫓아요).

분산은 훈련 데이터가 바뀔 때 모델이 얼마나 바뀌는지예요. 높은 분산은 과적합의 흔한 원인이지만, 두 말이 같은 건 아니에요: 과적합은 보이는 틈이고, 분산은 그 뒤에서 잴 수 있는 것 하나예요.

사전 분포로서의 가중치 감쇠

가중치 감쇠는 손실에 alpha * (sum of weights squared)를 더해요. 확률로 말하면, 데이터를 보기 전에 "작은 가중치가 더 그럴듯하다고 믿는다"고 하는 거예요. 그 믿음은 거친 맞춤을 차분한 맞춤 쪽으로 당기고, 편향을 조금 대가로 분산을 낮춰요. 다항식 맞춤에는 리지 회귀라는 정확한 해가 있어요: w = solve(A.T A + alpha I, A.T y), 여기서 A는 x의 거듭제곱을 담아요.

사전 분포: 데이터를 보기 전에 가중치에 대해 믿는 것. 가중치 감쇠는 작은 가중치를 선호하는 사전 분포예요.

이 레슨의 단어와 기호
과적합, 과소적합
훈련 데이터의 잡음까지 맞추기, 또는 패턴을 맞추기엔 너무 단순하기
편향, 분산
매번 같은 식으로 틀리기, 또는 훈련 데이터에 따라 많이 바뀌기
사전 분포
데이터를 보기 전에 가중치에 대해 믿는 것
ridge (alpha)
강도 alpha의 가중치 감쇠가 있는 최소 제곱
내 차례

계수(가장 낮은 거듭제곱부터, 위의 공식을 써서)를 반환하는 ridge_poly(x, y, deg, alpha)와 spread_at_half(deg, alpha)를 쓰세요: 훈련 세트 다섯 개(시드 0~4, 각각 점 20개, make_set으로 만들어요)에 맞추고 x = 0.5에서의 예측 다섯 개의 표준 편차를 반환하세요. 그다음 high_variance를 차수 1, 3, 12(alpha 0) 중 퍼짐이 가장 큰 것으로 설정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.