シラバス レッスン 250 中 91 · はじめての機械学習モデル
はじめての機械学習モデル

モデルの評価:正解率と誤差

学習させたモデルも、どれくらい良いかを言えるまでは役に立ちません。正しいスコアは、何を予測しているかによって決まります。

分類:正解率

ラベルがカテゴリー(迷惑メールかどうか、種 A/B/C)のとき、いちばん単純なスコアは正解率(accuracy)、つまり正しかった予測の割合です。

from sklearn.metrics import accuracy_score

acc = accuracy_score(y_true, y_pred)   # e.g. 0.875 means 7 of 8 right

正解率は 0 から 1 までです。でも「良い」かどうかは相対的です。メールの 95 パーセントが迷惑メールでないなら、いつも「迷惑メールでない」と答える怠けたモデルでも、迷惑メールを 1 通も捕まえずに 0.95 を取ってしまいます。数字を喜ぶ前に、必ずそういう素朴な基準と比べましょう。

回帰:誤差

ラベルが連続的な数(価格、気温)のとき、正解率は意味をなしません。正確な値をぴったり予測することはまずないからです。代わりに、どれくらい外れたかを測ります。よく使うのは平均絶対誤差(MAE)、つまり外れの大きさの平均です:

from sklearn.metrics import mean_absolute_error

mae = mean_absolute_error(y_true, y_pred)   # in the same units as y

MAE はラベルそのものの単位なので読みやすいです:千単位の住宅価格で MAE が 12 なら、平均でおよそ 12k 外れているということです。小さいほど良く、0 が完璧です。

両方を計算します:与えられた予測からの正解率と、完全な直線に対して学習させた小さな線形回帰からの MAE です(だから誤差はほぼ 0 になるはずです)。

あなたの番

パート 1:配列 y_true と y_pred(それぞれ 8 個のラベルで、ちょうど 1 か所だけ違う)が与えられています。acc = accuracy_score(y_true, y_pred) としてください。パート 2:X と target は直線 y = 2x を表しています。それらに対して reg という名前の LinearRegression を fit し、X で予測して reg_pred に入れ、それから mae = mean_absolute_error(target, reg_pred) としてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。