より良い平均、同じ技能
なぜ大切か 「私たちのモデルは損失が低い」は、言語モデルで最もよくある主張です。損失はすべての予測の上の平均で、平均は気にかける部分がまったく良くならなくても良くなりえます。
コースは同じやり方で訓練した、幅 32 と 64 の 2 つの GPT を記録しました。広いほうが取り分けた損失が低い。でも予測はみな同じではありません:始めた単語を終える("gradi" それから "e")のはやさしく、次の 単語の最初の文字を選ぶのは次に何を言うかを選ぶことで、難しいのです。
judge.per_position(model, X, Y) がそれぞれの予測の損失を返します。それを、すべての位置の上、単語の最初の文字の上、それぞれの単語の残りの上で平均してください。
まず予測してください:広いモデルは次の単語を選ぶのが上手になるか?
このレッスンの言葉と記号
- シード
- 実行のランダムな選択を決める数。別のシードは別の結果を返す
my_guess を "yes" か "no" に設定してください。幅 32 と 64 について、'all'、'first letter'、'inside word' の辞書で loss[width] を埋めます。gain_from を、広いモデルの得が来る位置の種類("first letter" か "inside word")に設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。