80% 確かとは、80% の時間正しいということか?
なぜ大切か モデルの自信は、それが正直なときだけ役に立ちます。「90% 確か」と言って半分しか正しくない医師の助手は危険です。
モデルが約 80% の自信で出すすべての予測のうち約 80% が正しいなら、モデルは 較正されて います。確かめるには:予測を自信で区間(0 から 0.1、0.1 から 0.2、という具合)に分け、それぞれの区間で平均の自信と実際の正解率を比べます。一方をもう一方に対して描いたものが 信頼性の図 で、完璧な較正は対角線です。
期待較正誤差(ECE)は、それぞれの区間の隔たりを、そこに入った予測の数で重み付けして足し合わせます:sum over bins of (count / total) * |accuracy - confidence|。
小さな数
自信 0.9 の 4 つの予測で、そのうち 2 つが正しい:その区間の隔たりは |0.5 - 0.9| = 0.4。それがすべての予測なら、ECE = 0.4 です。
このレッスンの言葉と記号
- 較正、ECE
- 自信が正解率と一致するか。重み付きの平均の隔たり
0 から 1 の等しい幅の区間で ece(confidence, correct, bins=10) を書いてください(ちょうど 1.0 の自信は一番上の区間に入る。空の区間は飛ばす)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。