シラバス レッスン 246 中 107 · モジュール 9:本当に良いのか?
モジュール 9:本当に良いのか?

80% 確かとは、80% の時間正しいということか?

なぜ大切か モデルの自信は、それが正直なときだけ役に立ちます。「90% 確か」と言って半分しか正しくない医師の助手は危険です。

モデルが約 80% の自信で出すすべての予測のうち約 80% が正しいなら、モデルは 較正されて います。確かめるには:予測を自信で区間(0 から 0.1、0.1 から 0.2、という具合)に分け、それぞれの区間で平均の自信と実際の正解率を比べます。一方をもう一方に対して描いたものが 信頼性の図 で、完璧な較正は対角線です。

期待較正誤差(ECE)は、それぞれの区間の隔たりを、そこに入った予測の数で重み付けして足し合わせます:sum over bins of (count / total) * |accuracy - confidence|。

小さな数

自信 0.9 の 4 つの予測で、そのうち 2 つが正しい:その区間の隔たりは |0.5 - 0.9| = 0.4。それがすべての予測なら、ECE = 0.4 です。

このレッスンの言葉と記号
較正、ECE
自信が正解率と一致するか。重み付きの平均の隔たり
あなたの番

0 から 1 の等しい幅の区間で ece(confidence, correct, bins=10) を書いてください(ちょうど 1.0 の自信は一番上の区間に入る。空の区間は飛ばす)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。