편향과 분산, 그리고 사전 분포로서의 가중치 감쇠
왜 중요한가 과적합은 틈으로 나타나요: 새 데이터의 오차보다 훨씬 낮은 훈련 오차. 그런 모든 틈 뒤에는 잴 수 있는 원인 둘이 있고, 서로 다른 치료가 필요해요.
같은 출처에서 새 훈련 세트 다섯 개를 뽑고 각각에 같은 종류의 모델을 맞추세요. 한 점에서의 예측 다섯 개를 보세요:
- 모두 일치하지만 모두 같은 식으로 틀리면: 높은 편향(너무 단순).
- 서로 크게 다르면: 높은 분산(너무 유연해서 세트마다의 잡음을 쫓아요).
분산은 훈련 데이터가 바뀔 때 모델이 얼마나 바뀌는지예요. 높은 분산은 과적합의 흔한 원인이지만, 두 말이 같은 건 아니에요: 과적합은 보이는 틈이고, 분산은 그 뒤에서 잴 수 있는 것 하나예요.
사전 분포로서의 가중치 감쇠
가중치 감쇠는 손실에 alpha * (sum of weights squared)를 더해요. 확률로 말하면, 데이터를 보기 전에 "작은 가중치가 더 그럴듯하다고 믿는다"고 하는 거예요. 그 믿음은 거친 맞춤을 차분한 맞춤 쪽으로 당기고, 편향을 조금 대가로 분산을 낮춰요. 다항식 맞춤에는 리지 회귀라는 정확한 해가 있어요: w = solve(A.T A + alpha I, A.T y), 여기서 A는 x의 거듭제곱을 담아요.
사전 분포: 데이터를 보기 전에 가중치에 대해 믿는 것. 가중치 감쇠는 작은 가중치를 선호하는 사전 분포예요.
이 레슨의 단어와 기호
- 과적합, 과소적합
- 훈련 데이터의 잡음까지 맞추기, 또는 패턴을 맞추기엔 너무 단순하기
- 편향, 분산
- 매번 같은 식으로 틀리기, 또는 훈련 데이터에 따라 많이 바뀌기
- 사전 분포
- 데이터를 보기 전에 가중치에 대해 믿는 것
- ridge (alpha)
- 강도 alpha의 가중치 감쇠가 있는 최소 제곱
계수(가장 낮은 거듭제곱부터, 위의 공식을 써서)를 반환하는 ridge_poly(x, y, deg, alpha)와 spread_at_half(deg, alpha)를 쓰세요: 훈련 세트 다섯 개(시드 0~4, 각각 점 20개, make_set으로 만들어요)에 맞추고 x = 0.5에서의 예측 다섯 개의 표준 편차를 반환하세요. 그다음 high_variance를 차수 1, 3, 12(alpha 0) 중 퍼짐이 가장 큰 것으로 설정하세요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.