シラバス レッスン 246 中 232 · モジュール 22:主張を判断する
モジュール 22:主張を判断する

ひとつのシードは逸話

なぜ大切か 同じモデルを異なるランダムなシードで 2 回訓練すると、異なる結果になります。その広がりより小さな 2 つのモデルの差は結果ではなく、ひとつの実行は広がりがどれだけ大きいかを教えられません。

ある主張:「8,000 トークンで、幅 1024 は幅 512 に勝つ」、それぞれひとつの実行が裏づけ(シード 0:2.799 に対して 2.793)。コースはそれぞれ 3 つのシードを記録しました。

それぞれいくつかのシードでの「A は B に勝つ」の単純な規則:平均の差と、その 標準誤差(シードを走らせ直したら差がどれだけ動くか)、標本分散(ddof=1)での sqrt(var(A) / nA + var(B) / nB) を取ります。差が標準誤差の 2 倍より大きいとき示されたと呼びます。judge.standard_error(a, b) がそれを計算します。

まず予測してください:3 つのシードでは、8,000 トークンで幅 1024 はまだ 512 に勝つか?

このレッスンの言葉と記号
シード
実行のランダムな選択を決める数。別のシードは別の結果を返す
標準誤差
シードを走らせ直したら、測った差がどれだけ動くか
あなたの番

my_guess を "yes" か "no" に設定してください。8,000 と 1,500,000 トークンについて、diff[tokens](幅 512 の平均の損失引く幅 1024 の平均の損失:正なら 1024 が良い)と two_se[tokens] を埋めます。verdict[tokens] を "shown" か "not shown" に設定してください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。