モデルの評価:正解率と誤差
学習させたモデルも、どれくらい良いかを言えるまでは役に立ちません。正しいスコアは、何を予測しているかによって決まります。
分類:正解率
ラベルがカテゴリー(迷惑メールかどうか、種 A/B/C)のとき、いちばん単純なスコアは正解率(accuracy)、つまり正しかった予測の割合です。
from sklearn.metrics import accuracy_score
acc = accuracy_score(y_true, y_pred) # e.g. 0.875 means 7 of 8 right正解率は 0 から 1 までです。でも「良い」かどうかは相対的です。メールの 95 パーセントが迷惑メールでないなら、いつも「迷惑メールでない」と答える怠けたモデルでも、迷惑メールを 1 通も捕まえずに 0.95 を取ってしまいます。数字を喜ぶ前に、必ずそういう素朴な基準と比べましょう。
回帰:誤差
ラベルが連続的な数(価格、気温)のとき、正解率は意味をなしません。正確な値をぴったり予測することはまずないからです。代わりに、どれくらい外れたかを測ります。よく使うのは平均絶対誤差(MAE)、つまり外れの大きさの平均です:
from sklearn.metrics import mean_absolute_error
mae = mean_absolute_error(y_true, y_pred) # in the same units as yMAE はラベルそのものの単位なので読みやすいです:千単位の住宅価格で MAE が 12 なら、平均でおよそ 12k 外れているということです。小さいほど良く、0 が完璧です。
両方を計算します:与えられた予測からの正解率と、完全な直線に対して学習させた小さな線形回帰からの MAE です(だから誤差はほぼ 0 になるはずです)。
パート 1:配列 y_true と y_pred(それぞれ 8 個のラベルで、ちょうど 1 か所だけ違う)が与えられています。acc = accuracy_score(y_true, y_pred) としてください。パート 2:X と target は直線 y = 2x を表しています。それらに対して reg という名前の LinearRegression を fit し、X で予測して reg_pred に入れ、それから mae = mean_absolute_error(target, reg_pred) としてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。