関門:主張を審査する(AI オフ)
なぜ大切か 結果を批判的に読むことは、どの論文、モデルカード、ベンチマークの表でも使う技能です。規則は単純です。どれが大切かを言われずに、毎回それを当てはめることが技能です。
関門の規則:AI チューターはオフです。review(claim) を書いてください。主張は「モデル A はモデル B に勝つ」と言い、それぞれのモデルのそれぞれのシードの損失と、訓練のデータに見つかったテストの組の割合を伴います。順に:
- テストの組の 10% より多くが訓練のデータにあったなら、"leaked" を返す:それでのどの点数も信用できない。
- どちらかのモデルのシードが 2 つより少ないなら、"not shown" を返す:広がりがわからない。
- diff = mean(B) - mean(A)(A が良いとき正)、se = sqrt(var(A) / nA + var(B) / nB)、標本分散(
ddof=1)とする。diff > 2 se なら "shown"、diff < -2 se なら "contradicted"、それ以外は "not shown" を返す。
確認は、確認のたびに違う 6 つの新しい主張であなたの関数を走らせます。端の場合を含みます:ひとつのシード、ちょうど 10% の重なり、ちょうど一致するシード。
このレッスンの言葉と記号
- 汚染(漏れ)
- 訓練のデータにもあったテストの項目
- シード
- 実行のランダムな選択を決める数。別のシードは別の結果を返す
review を埋めてください。{'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0}(150 万トークンでの記録した幅 1024 と 512)で試してください。
AI オフ:この問題ではチューター、ヒント、解答例はありません。自分の頭だけで考えましょう。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。