강의 계획 레슨 250개 중 91번째 · 첫 머신러닝 모델
첫 머신러닝 모델

모델 평가하기: 정확도와 오차

훈련한 모델은 그것이 얼마나 좋은지 말할 수 있을 때까지 쓸모가 없어요. 알맞은 점수는 무엇을 예측하는지에 달려 있어요.

분류: 정확도

레이블이 범주(스팸인지 아닌지, 종 A/B/C)일 때 가장 단순한 점수는 정확도예요: 맞은 예측의 비율.

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

정확도는 0에서 1까지예요. 하지만 "좋다"는 상대적이에요. 이메일의 95퍼센트가 스팸이 아니라면, 늘 "스팸 아님"이라고 추측하는 게으른 모델이 스팸을 하나도 잡지 못하면서도 이미 0.95를 받아요. 숫자를 축하하기 전에 늘 그런 순진한 기준선과 비교하세요.

회귀: 오차

레이블이 연속된 숫자(가격, 온도)일 때 정확도는 말이 안 돼요. 정확한 값을 예측하는 일은 거의 없을 테니까요. 대신 얼마나 빗나갔는지 재요. 흔한 선택은 빗나간 크기의 평균인 평균 절대 오차예요:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE는 레이블 자신의 단위라서 읽기 쉬워요: 천 단위 집값에서 MAE가 12라면 평균 약 12k 빗나간다는 뜻이에요. 낮을수록 좋고, 0이 완벽이에요.

둘 다 계산해요: 주어진 예측에서 정확도를, 그리고 완벽한 직선 위에 fit 한 작은 선형 회귀에서 MAE를(그래서 오차는 거의 0이어야 해요).

내 차례

1부: 배열 y_true와 y_pred(각각 레이블 8개, 정확히 한 곳이 다름)가 주어져요. acc = accuracy_score(y_true, y_pred)로 정하세요. 2부: X와 target은 직선 y = 2x를 나타내요. 그것들로 reg라는 LinearRegression을 fit 하고, X로 예측해 reg_pred에 넣은 다음, mae = mean_absolute_error(target, reg_pred)로 정하세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.