シラバス レッスン 246 中 235 · モジュール 22:主張を判断する
モジュール 22:主張を判断する

関門:主張を審査する(AI オフ)

なぜ大切か 結果を批判的に読むことは、どの論文、モデルカード、ベンチマークの表でも使う技能です。規則は単純です。どれが大切かを言われずに、毎回それを当てはめることが技能です。

関門の規則:AI チューターはオフです。review(claim) を書いてください。主張は「モデル A はモデル B に勝つ」と言い、それぞれのモデルのそれぞれのシードの損失と、訓練のデータに見つかったテストの組の割合を伴います。順に:

  1. テストの組の 10% より多くが訓練のデータにあったなら、"leaked" を返す:それでのどの点数も信用できない。
  2. どちらかのモデルのシードが 2 つより少ないなら、"not shown" を返す:広がりがわからない。
  3. diff = mean(B) - mean(A)(A が良いとき正)、se = sqrt(var(A) / nA + var(B) / nB)、標本分散(ddof=1)とする。diff > 2 se なら "shown"、diff < -2 se なら "contradicted"、それ以外は "not shown" を返す。

確認は、確認のたびに違う 6 つの新しい主張であなたの関数を走らせます。端の場合を含みます:ひとつのシード、ちょうど 10% の重なり、ちょうど一致するシード。

このレッスンの言葉と記号
汚染(漏れ)
訓練のデータにもあったテストの項目
シード
実行のランダムな選択を決める数。別のシードは別の結果を返す
あなたの番

review を埋めてください。{'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0}(150 万トークンでの記録した幅 1024 と 512)で試してください。

AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。