因果マスク:のぞき見なし
なぜ大切か 次の文字を予測するよう訓練したモデルは、次の文字を見てはいけません。マスクがなければ答えを写すだけで済み、訓練ではすばらしく見え、それから生成のときに失敗します。生成のときには未来はまだ存在しないからです。
見てみる
アニメーションを再生してください。位置 i がアテンションを向けてよいのは位置 0 から i だけです。ソフトマックスの前に、対角線より上のどの点数もマイナス無限大にされるので、その重みはちょうど 0 になります。すると重みは下三角を作ります。
漏れの試験は直接的です:位置 j の文字を変え、モデルが j より前の位置について計算するものが何も変わってはいけません。
コースが幅 32 の GPT をマスクなしで 1,200 ステップ訓練したとき、その訓練の損失は 0.10 まで落ちました。マスクありでは 1.51:次の位置から答えを写すことを、ほぼ完璧に学んでいたのです。見たことのない文章で、先を見させずに正直に測ると、その損失は 2.3 に対して 8.6 でした。低いほうの数は嘘でした:モデルはずっと悪かったのです。(初めのうち、400 ステップでは、2 つの実行はまだ似て見えました、2.24 に対して 2.28。写すことは見つけるのに時間がかかり、それから乗っ取ります。)
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- 因果マスク
- 対角線より上の点数をマイナス無限大にすること:どの位置も未来を見ない
- ヘッド
- 横に並べて走らせる H の狭いアテンションのひとつで、それぞれ自分のパターンを持つ
レッスン 4 と同じですがマスクのある causal_attention(X, Wq, Wk, Wv) を書いてください。それから leaks(f):ランダムな X の最後の行を変えると f の出力のそれより前のどれかの行が変わるなら True を返します。ここで f は、あなたのものと同じく f(X, Wq, Wk, Wv) と呼ばれ (output, weights) を返す、どんなアテンションの関数でもあります。ランダムな X と重みは leaks の中で作ってください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。