シラバス レッスン 246 中 142 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

なぜ d の平方根で割るのか

なぜ大切か どのトランスフォーマーも、アテンションの点数をキーの大きさの平方根で割ります。それを省くと、アテンションは混ぜ合わせるのをやめ、その勾配はほとんど消えます。その理由を測ります。

長さ d の 2 つのランダムなベクトルの内積は、d の積を足し合わせます。それぞれの広がりは約 1 なので、和の広がりは約 d の平方根です。理由:独立なランダムな数を足すとき、その広がりは足し合わさらず、その 2 乗が足し合わさります(2 乗は分散と呼ばれる)。それぞれ分散 1 の d の積は分散 d を返すので、広がりは d の平方根です。d = 64 なら 8 です。

プラスマイナス 8 以上に広がった点数は、ソフトマックスをほとんどワンホットにします:ひとつの重みが 1 近く、残りは 0 近く。ワンホットのソフトマックスの勾配はごく小さなものです:それぞれの出力の自分の点数についての傾きは p(1 - p) で、p が 0 か 1 に近いと 0 に近く(モジュール 2 のソフトマックスの勾配のレッスンがそれを導き、このモジュールのアテンションをさかのぼるレッスンがそれを使う)、なのでモデルはゆっくり学びます。d の平方根で割れば、d が何であれ、広がりは約 1 に戻ります。

予測してください:d が 4 から 256 に大きくなるにつれ、割り算ありとなしで、最大の重みに何が起きるか?

このレッスンの言葉と記号
クエリ、キー、バリュー
位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
あなたの番

my_guess を埋めてください。それから top_weight(d, scaled) を書きます:2,000 のランダムなクエリを、それぞれ 32 のランダムなキーに対して(正規分布の数、シード 0)、最大のソフトマックスの重みの平均。measured を埋めてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。