モデルがもう見たテストの組
なぜ大切か 大きなモデルは公開されたインターネットのほとんどで訓練され、公開されたテストの組はインターネットの上にあります。テストの項目が訓練に漏れると、点数は技能とは関係のない理由で上がり、それを報告する論文は決して気づかないかもしれません。
コースの GPT のための、120 の文章の公開されたテストの組。その作者は別に書いたと言います。その一部は実はコースのレッスンの文章から写されていて、それは GPT が訓練に使ったものです。
標準の確認:それぞれの文章を 13 文字のかけらに切り、訓練の文章の中で引きます。別に書いた文章が長いかけらを共有するのは偶然でまれで、写したものはそのすべてを共有します。judge.overlap(p) は訓練の文章に見つかった文章のかけらの割合を、judge.losses(model, passages) はそれぞれの文章でのモデルの損失を返します。
まず予測してください:漏れた文章を取り除くと、報告する損失は良くなるか、悪くなるか?
このレッスンの言葉と記号
- 汚染(漏れ)
- 訓練のデータにもあったテストの項目
my_guess を "better" か "worse" に設定してください。reported(120 すべての上の平均の損失)、leaked(True/False のリスト、重なりが 0.5 より上)、clean(漏れていない文章の上の平均の損失)、leaked_loss を埋めます。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。