シラバス レッスン 246 中 229 · モジュール 22:主張を判断する
モジュール 22:主張を判断する

モデルがもう見たテストの組

なぜ大切か 大きなモデルは公開されたインターネットのほとんどで訓練され、公開されたテストの組はインターネットの上にあります。テストの項目が訓練に漏れると、点数は技能とは関係のない理由で上がり、それを報告する論文は決して気づかないかもしれません。

コースの GPT のための、120 の文章の公開されたテストの組。その作者は別に書いたと言います。その一部は実はコースのレッスンの文章から写されていて、それは GPT が訓練に使ったものです。

標準の確認:それぞれの文章を 13 文字のかけらに切り、訓練の文章の中で引きます。別に書いた文章が長いかけらを共有するのは偶然でまれで、写したものはそのすべてを共有します。judge.overlap(p) は訓練の文章に見つかった文章のかけらの割合を、judge.losses(model, passages) はそれぞれの文章でのモデルの損失を返します。

まず予測してください:漏れた文章を取り除くと、報告する損失は良くなるか、悪くなるか?

このレッスンの言葉と記号
汚染(漏れ)
訓練のデータにもあったテストの項目
あなたの番

my_guess を "better" か "worse" に設定してください。reported(120 すべての上の平均の損失)、leaked(True/False のリスト、重なりが 0.5 より上)、clean(漏れていない文章の上の平均の損失)、leaked_loss を埋めます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。