アテンションには順序の感覚がない
なぜ大切か 「犬が人をかむ」と「人が犬をかむ」は同じ言葉を使います。自己アテンションは、それだけではそれらを見分けられません。その理由を見ることが、どのトランスフォーマーも加える追加の材料を説明します。
X の行を混ぜると、自己アテンションの出力の行も同じように混ざるだけで、ほかは何も変わりません。それぞれの位置の結果は、どのベクトルがあるかに依存し、どこにあるかには依存しません。(因果マスクがあると、これは完全には正しくありません:位置 i はちょうど i + 1 のトークンを見るので、モデルはそれを数えることを学べ、位置ベクトルのない因果的なモデルは実際にそうやって順序を学びます。でもそれは遅く当てになりません。明示的な位置ベクトルが順序を簡単にします。)
なのでトランスフォーマーは、最初の層の前に、それぞれのトークンの埋め込みに 位置ベクトル を足します。記録した GPT は位置ごとにひとつ、32 のベクトルを学びました。それを消したら、その予測に何が起きるでしょうか?
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- 自己アテンション
- どの位置も同じ文章の位置にアテンションを向ける
- 因果マスク
- 対角線より上の点数をマイナス無限大にすること:どの位置も未来を見ない
- 位置ベクトル
- アテンションが順序を見分けられるよう、それぞれのトークンに足すもの
shuffle_check(f) を書いてください:ランダムな X の行を並べ替えると f の出力の行が同じように並べ替わるなら True。ここで f(X, Wq, Wk, Wv) は、下の attn のように出力だけを返します。ランダムな X と重みは shuffle_check の中で作ってください。それから with_pos と without_pos を埋めます:記録したモデルの取り分けたデータでの損失(model.eval_loss(held, n=32))を、そのままのものと、model.P["pos"].data をゼロにしたもの(あとで戻す)で。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。