分類での正解率と適合率/再現率/F1
LLM の仕事の大部分は、実は分類です:このチケットを振り分ける、この感情にラベルを付ける、このメッセージに迷惑メールの印を付ける。そうしたものでは、正解率だけでは罠になります。95% が正常なメールの受信箱で迷惑メールのフィルターを作ると、すべてに正常のラベルを付けるモデルは、迷惑メールを 1 通も捕まえずに 95% の正解率を取ります。数字は素晴らしく見えますが、製品は役に立ちません。それを見抜くには、本当に気にしているクラスについて、適合率、再現率、F1 を分けて出す必要があります。
陽性のクラス(たとえば spam)を選び、4 つのバケツを数えます:
- TP 真陽性:spam と予測し、spam だった。
- FP 偽陽性:spam と予測し、ham だった(良いメールが迷惑メールフォルダに送られた)。
- FN 偽陰性:ham と予測し、spam だった(すり抜けた迷惑メール)。
precision = TP / (TP + FP) # of what I flagged, how much was right
recall = TP / (TP + FN) # of the real positives, how many I caught
f1 = 2 * P * R / (P + R)
accuracy = correct / total # all classes, all predictionsこれらは違う方向に引っ張り合います。積極的に印を付ければ再現率は上がり適合率は下がり、控えめに印を付ければその逆です。F1 は、どちらも崩れさせない 1 つの数です。不均衡な組では、正解率と F1 は大きく食い違います。それこそが、別々に計算する理由のすべてです。
式は面接のためにそらで知っておく価値があるので、手で実装します。でも、テスト済みのライブラリがあるなら手作りの指標を決して出荷すべきではないので、テストはあなたの数を scikit-learn の precision_score、recall_score、f1_score とも照らし合わせます。sklearn と一致すれば、正しく実装できています。
from sklearn.metrics import precision_score, recall_score, f1_score
precision_score(y_true, y_pred, pos_label="spam")作るもの。それぞれ小数点以下 4 桁に round した辞書 {"accuracy", "precision", "recall", "f1"} を返す classification_metrics(y_true, y_pred, positive_label)。分母が 0 になる場合(陽性の予測がない、実際の陽性がない)は、0 で割る代わりにその指標に 0.0 を返して守ります。実行を押してレポートを出力し、不均衡な組で正解率と F1 が食い違う様子を見ましょう。
選んだ陽性のクラスについて、それぞれ小数点以下 4 桁に round した {'accuracy', 'precision', 'recall', 'f1'} を返す classification_metrics(y_true, y_pred, positive_label) を書いてください。positive_label と照らして TP/FP/FN を数えます。precision = TP/(TP+FP)、recall = TP/(TP+FN)、f1 = 調和平均、accuracy = 正解/合計です。分母が 0 になる指標はすべて 0.0 を返します。あなたの数は scikit-learn の precision_score/recall_score/f1_score と一致しなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。