シラバス レッスン 246 中 149 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

波としての位置

なぜ大切か 学習した位置ベクトルは、訓練で見た最も長い文章で止まります。もともとのトランスフォーマーは代わりに固定の波を使い、それはどの位置にも唯一のパターンを与え、「3 歩離れている」がどこで起きても同じに見えるようにします。

位置 p と組の番号 i(0、1、2、...)について、合わせて d の数で:

PE[p, 2i]     = sin(p / 10000^(2i/d))
PE[p, 2i + 1] = cos(p / 10000^(2i/d))

最初の組は速い波で、後の組はだんだん遅くなります。時計の針のように:秒、分、時。合わさって、それぞれの位置に異なる読みを与えます。

役立つ性質:内積 PE[p] . PE[p + k] は距離 k だけに依存し、p には依存しません。(恒等式 sin a sin b + cos a cos b = cos(a - b) により、それぞれの組は角度の差の cos を寄与します。)

この分野の今 今日のほとんどの公開された言語モデルは、入力に足す波も学習した位置ベクトルも使いません。RoPE(回転位置埋め込み、Su ら 2021)は、クエリとキーの射影のあとで、それぞれのクエリとキーのベクトルを位置とともに大きくなる角度だけ回転させるので、2 つの位置の間の点数はどれだけ離れているかだけに依存します。ALiBi(Press ら 2021)は位置ベクトルをまったく足しません:距離とともに大きくなる罰をそれぞれのアテンションの点数から引きます。どちらも訓練のものより長い文章によりうまく引き継がれます。ここでの波は、もともとのトランスフォーマーの選択で、最も見やすいものです。

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
位置ベクトル
アテンションが順序を見分けられるよう、それぞれのトークンに足すもの
あなたの番

n × d の配列を返す positions(n, d) を書いてください。それから same_distance を、p = 0 から 50 の上での PE[p] . PE[p + 5] の最大の差に設定してください(ほぼ 0 であるべきです)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。