シラバス レッスン 250 中 92 · はじめての機械学習モデル
はじめての機械学習モデル

正解率の先へ:適合率、再現率、F1

前のレッスンで罠を見ましたね:メールの 95% が迷惑メールでないなら、いつも「迷惑メールでない」と答えるモデルは、迷惑メールを 1 通も捕まえずに正解率 0.95 を取ります。不均衡な問題では、正解率はうそをつきます。直し方は、モデルがどんな種類の間違いをするかを混同行列で見ることです。

「はい/いいえ」の分類器(ラベル 1 = 陽性クラス、例:「迷惑メール」)では、どの予測も 4 つの箱のどれかに入ります:

TP  true positive   predicted 1, actually 1   (caught real spam)
FP  false positive  predicted 1, actually 0   (flagged a good email)
FN  false negative  predicted 0, actually 1   (missed real spam)
TN  true negative   predicted 0, actually 0   (left a good email alone)

その数から 3 つの数が出てきて、実際のチームが報告するのはこれらです:

  • 適合率(precision)= TP / (TP + FP)。印を付けたもののうち、どれだけが正しかったか?適合率が低い = オオカミ少年。
  • 再現率(recall)= TP / (TP + FN)。捕まえるべきだったもののうち、どれだけを捕まえたか?再現率が低い = 本物を見逃している。
  • F1 = 2 * P * R / (P + R)、調和平均です。適合率と再現率の両方が高いときだけ高くなる 1 つの数なので、すべてを陰性とする怠けたモデル(再現率 0)は F1 = 0 となり、正体がばれます。

適合率と再現率はトレードオフの関係にあります:すべてに印を付ければ再現率は 1.0 になりますが適合率は暴落します。何にも印を付けなければ適合率は定義できず、何も捕まえられません。F1 があなたを正直にしてくれます。分母が 0 のとき(陽性を 1 つも予測しなかった、あるいは陽性が 1 つもない)は、0 で割る代わりにその指標を 0.0 として報告します。

関数を 2 つ作ってください。confusion(y_true, y_pred) は、同じ長さの 0/1 ラベルのリスト 2 つについて、タプル (tp, fp, fn, tn) を返します。prf(y_true, y_pred) はそれらの数から計算した {"precision", "recall", "f1"} を返します(分母が 0 なら 0.0)。隠しテストはあなたの数を scikit-learn と照らし合わせるので、定義は正確でなければなりません。実行を押して、不均衡な分類器を採点しましょう。

あなたの番

同じ長さの 0/1 ラベルのリスト 2 つ(1 が陽性クラス)について (tp, fp, fn, tn) を返す confusion(y_true, y_pred) と、precision = TP/(TP+FP)、recall = TP/(TP+FN)、f1 = 2*P*R/(P+R) として {"precision", "recall", "f1"} を返す prf(y_true, y_pred) を書いてください。分母が 0 になる指標はすべて 0.0 を返します(決して 0 で割らないでください)。結果は scikit-learn と照らし合わせて確かめられます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。