シラバス レッスン 246 中 141 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

アテンションはやわらかい引き当て

なぜ大切か アテンションはトランスフォーマーのたったひとつの新しい考えです。ほかはすべてもう知っています。それは、ひとつの項目を選ぶ代わりに、すべてを混ぜ合わせる辞書の引き当てです。

見てみる

アニメーションを再生してください。Python の辞書はキーにぴったり一致して、ひとつの値を返します。アテンションには クエリ q、キー のリスト、バリュー のリストがあります。クエリをどのキーとも内積で点数をつけ、ソフトマックスで点数を重み(正で、足して 1)に変え、バリューの重み付き平均を返します。

weights = softmax(K @ q)
output  = weights @ V

小さな数

q = [1, 0]。キー [2, 0]、[0, 2]、[0, 0] は点数 2、0、0 を返します。ソフトマックス:e^2 = 7.39 と 1 と 1、なので重みは 0.79、0.11、0.11。バリュー 10、20、30 では、出力は 0.79 × 10 + 0.11 × 20 + 0.11 × 30 = 13.2:ほとんど最初のバリューで、ほかが少し。

クエリ、キー、バリュー:私が探しているもの。それぞれの項目が照合のために差し出すもの。一致したらそれぞれの項目が手渡すもの。

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
あなたの番

ひとつのクエリについて attend(q, K, V) を書いてください:(weights, output) を返します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。