すべての「それは本物か」の確認の裏のひとつの規則
なぜ大切か このコースは少なくとも 4 つのやり方で差を判断してきました:対にした区間(モジュール 9)、「0.1 高く、どのシードでもより高い」(モジュール 16 と 17)、そして標準誤差の 2 倍(このモジュール)。それらはすべて同じ考えで、それを知れば正しいものを選べ、ひとつが甘すぎるときがわかります。
どの規則も 差 をその ノイズ と比べます。2 つの選択が答えを変えます:
- 対にするかどうか。両方のモデルが同じ項目で点数をつけられるとき(モジュール 9 のテストの画像)、まず項目ごとに引く:それぞれの項目の難しさが打ち消し合い、ノイズが縮み、小さな本物の差が現れる。同じ項目の上の 2 つの分類器では、最もきれいな数え方は、ただそれらが食い違う項目です(McNemar の検定)。別々の実行のシードは対になっていない:2 つのグループを全体として比べる。
- 切り目がどれだけ厳しいか。標準誤差の 2 倍はノイズを知っていると仮定する。片側 3 つのシードでは、それぞれ 3 つの数からそれを見積もり、その見積もりはたやすく小さすぎる。Student の t がそれを考慮する:切り目は
stats.t.ppf(0.975, df)の標準誤差になり、df(自由度)は Welch の式df = (va + vb)**2 / (va**2 / (na - 1) + vb**2 / (nb - 1))、va = var(a) / naから来る。片側 3 つのシードでは df は 2 から 4 で、切り目は 2 ではなく 2.8 から 4.3。
まず予測してください:記録した格子の上で、より厳しい切り目が、標準誤差の 2 倍の規則からの「示された」を覆すことはあるか?
このレッスンの言葉と記号
- シード
- 実行のランダムな選択を決める数。別のシードは別の結果を返す
- 標準誤差
- シードを走らせ直したら、測った差がどれだけ動くか
my_guess を "yes" か "no" に設定してください。シードの損失の 2 つのリストについて (diff, se, df) を返す welch(a, b) を書きます(diff = mean(a) - mean(b):大きいほうのモデル b が良いとき正)。それから CASES のそれぞれの場合について、result[case] を辞書で埋めてください:'ratio'(diff / se)、'cutoff'(t の切り目)、'two_se' と 't'(それぞれの規則による "shown" か "not shown")。disagree を、2 つの規則が違う場合のリストに設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。