2 つのモデルを公平に比べる
なぜ大切か レッスン 1 に戻ります。これが決める正しいやり方です。
どちらのモデルも 同じ 100 の項目に答えました。なので、それぞれの点数に別々に誤差の幅を付けないでください。項目を組として抽出し直して、差 にひとつ付けるのです。どの抽出も繰り返しありで 100 の項目を選び、まさにその項目での B の正解率引く A の正解率を計算します。その差の 95% の区間が 0 を含むなら、データはモデルを見分けられません。
対になった比較:同じテストのセットで、2 つのモデルを項目ごとに比べることで、それぞれの項目の難しさを打ち消します。
レッスン 1 の 100 の画像がどう選ばれたか、正直に:読む道具はシミュレーションで、コースは A がたまたま B を 4 点リードする 100 の画像の引きを選びました。100 の画像の 2,000 回のランダムな引きの上で、A が 4 点以上リードしたのは 8% だけでした。その半分で B が上に出て、14% は同点でした。それは本物の種類の運で、要点を示すために選びました:100 のひとつのテストのセットは、間違った向きを指しうるのです。
このレッスンの言葉と記号
- ブートストラップ
- 点数がどれだけ揺れるかを見るため、テストのセットを繰り返しありで抽出し直すこと
- 95% の区間
- 抽出し直した点数の真ん中の 95%
- 対になった比較
- 同じ項目の上で、2 つのモデルを項目ごとに比べること
paired_diff_ci(a, b, n=2000, seed=0)(B 引く A の区間、ブートストラップのレッスンのように項目の添字を抽出し直す)と、"A"、"B"、または "no clear difference" を返す verdict(a, b) を書いてください。レッスン 1 のモデルで動かしてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。