正解率の先へ:適合率、再現率、F1
前のレッスンで罠を見ましたね:メールの 95% が迷惑メールでないなら、いつも「迷惑メールでない」と答えるモデルは、迷惑メールを 1 通も捕まえずに正解率 0.95 を取ります。不均衡な問題では、正解率はうそをつきます。直し方は、モデルがどんな種類の間違いをするかを混同行列で見ることです。
「はい/いいえ」の分類器(ラベル 1 = 陽性クラス、例:「迷惑メール」)では、どの予測も 4 つの箱のどれかに入ります:
TP true positive predicted 1, actually 1 (caught real spam)
FP false positive predicted 1, actually 0 (flagged a good email)
FN false negative predicted 0, actually 1 (missed real spam)
TN true negative predicted 0, actually 0 (left a good email alone)その数から 3 つの数が出てきて、実際のチームが報告するのはこれらです:
- 適合率(precision)=
TP / (TP + FP)。印を付けたもののうち、どれだけが正しかったか?適合率が低い = オオカミ少年。 - 再現率(recall)=
TP / (TP + FN)。捕まえるべきだったもののうち、どれだけを捕まえたか?再現率が低い = 本物を見逃している。 - F1 =
2 * P * R / (P + R)、調和平均です。適合率と再現率の両方が高いときだけ高くなる 1 つの数なので、すべてを陰性とする怠けたモデル(再現率 0)は F1 = 0 となり、正体がばれます。
適合率と再現率はトレードオフの関係にあります:すべてに印を付ければ再現率は 1.0 になりますが適合率は暴落します。何にも印を付けなければ適合率は定義できず、何も捕まえられません。F1 があなたを正直にしてくれます。分母が 0 のとき(陽性を 1 つも予測しなかった、あるいは陽性が 1 つもない)は、0 で割る代わりにその指標を 0.0 として報告します。
関数を 2 つ作ってください。confusion(y_true, y_pred) は、同じ長さの 0/1 ラベルのリスト 2 つについて、タプル (tp, fp, fn, tn) を返します。prf(y_true, y_pred) はそれらの数から計算した {"precision", "recall", "f1"} を返します(分母が 0 なら 0.0)。隠しテストはあなたの数を scikit-learn と照らし合わせるので、定義は正確でなければなりません。実行を押して、不均衡な分類器を採点しましょう。
同じ長さの 0/1 ラベルのリスト 2 つ(1 が陽性クラス)について (tp, fp, fn, tn) を返す confusion(y_true, y_pred) と、precision = TP/(TP+FP)、recall = TP/(TP+FN)、f1 = 2*P*R/(P+R) として {"precision", "recall", "f1"} を返す prf(y_true, y_pred) を書いてください。分母が 0 になる指標はすべて 0.0 を返します(決して 0 で割らないでください)。結果は scikit-learn と照らし合わせて確かめられます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。