系列のモデルのための手順
なぜ大切か モジュール 8 の 2 つの確認(始めの損失、ひとつのバッチの丸暗記)は今も当てはまります。系列のモデルは黙って失敗する新しいやり方を加え、2 つの安い確認が、計算を使う前にその最悪のものを捕まえます。
クリニックのモデルは小さな GPT です:幅 16、2 ブロック、2 ヘッド、16 文字の文脈、コースの文章での 200 の Adam のステップ。数秒で訓練されるので、調べる余裕があります。
確認 1:始めの損失
小さな重みの新しいモデルは推測を V の文字に均等に広げるので、その損失は ln(V) です。95 文字なら 4.55 です。それよりずっと上なら何かの尺度が間違っていて、ずっと下ならモデルが受けるべきでない助けを受けています。
確認 2:のぞき見なし
入力の最後の文字を変えてください。前の位置のどれかの予測が変われば、モデルは未来を見られ(モジュール 13)、得られるどの訓練の数も、うますぎて本当とは思えないものです。
| 調べる手段 | 教えてくれること | 健全な実行 |
|---|---|---|
loss_curve(c) | 25 ステップごとの訓練の損失と、最後の、見たことのない文章での損失。いつもまずこれを見る。 | 4.55 から約 2.9 へ。見たことのないものは約 3.0 |
loss_at_init(c) | 訓練の前の損失。95 文字の上で均等に推測する新しいモデルは ln(95) を返す。 | 4.55 |
leak_check(c) | 後の文字が前の予測を変えられるか? | False |
show_batch(c) | ひとつの訓練の入力とその目標を、文章として。 | 目標 = 入力を 1 文字左にずらしたもの |
update_ratio(c) | 最初の Adam のステップのあと、重みが自分の大きさに比べてどれだけ動いたか。モジュール 8 の規則ではない:その 0.001 から 0.1 の範囲は素の SGD のステップのためのもの。Adam の最初のステップは勾配が何であれ、どの重みもおよそ学習率だけ動かし、これらの重みは 0.02 近くで始まるので、0.01 / 0.02 で約 0.5。場合はモジュール 8 の範囲ではなく、この健全な実行と比べる。 | 約 0.5 |
block_change(c) | 始めに、最初のブロックがそれぞれのベクトルをどれだけ変えるか。 | 約 0.3 |
このレッスンの言葉と記号
- ln(V)
- V の記号の上で均等に推測するモデルの始めの損失:95 文字なら 4.55
- うますぎて本当とは思えない
- 訓練の損失は健全な実行よりずっと良く、見たことのない文章での損失はずっと悪い
- ブロックの変化
- 始めに、ひとつのブロックがベクトルをどれだけ変えるか。1 に近ければそれを置き換えたということ
クリニック自身の _init、_logits、DATA を使って、expected_start(V) と my_leak_check(c) を書いてください。クリニックの調べる手段と一致しなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。