温度で文章をサンプリングする
なぜ大切か どのチャットボットにも「温度」の設定があります。それはひとつの割り算で、安全で繰り返しの多い文章を、変化に富んだ危なっかしい文章と引き換えにします。
次の文字を選ぶのに、モデルはソフトマックスで点数を確率に変えます。まず点数を 温度 T で割ると、その分布の尖り方が変わります:1 より下の T は尖らせ(一番人気がより多く勝つ)、1 より上の T は平らにします(驚きが起こりやすくなる)。
エントロピー、p log p の和のマイナスは、分布がどれだけ広がっているかを測ります:ひとつの選択が確実なら 0、n すべてが等しく起こりやすいなら ln(n)。
本物の記録したモデルでそれを測ります:コース自身のレッスンの文章で訓練した、コースの小さな GPT です。
このレッスンの言葉と記号
- 温度
- ソフトマックスの前に点数を割る:1 より下は尖り、1 より上は平ら
- エントロピー
- 分布がどれだけ広がっているか:確実なら 0、n の選択がすべて等しければ ln(n)
my_order を、温度 0.5、1.0、2.0 をエントロピーの低いものから高いものへ並べたもの(あなたの予測)に設定してください。それからひとつの点数の行について entropy_at(scores, T) を書き、それぞれの温度について、与えられた文脈の上のモデルの次の文字の分布の平均のエントロピーで measured を埋めてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。