なぜ d の平方根で割るのか
なぜ大切か どのトランスフォーマーも、アテンションの点数をキーの大きさの平方根で割ります。それを省くと、アテンションは混ぜ合わせるのをやめ、その勾配はほとんど消えます。その理由を測ります。
長さ d の 2 つのランダムなベクトルの内積は、d の積を足し合わせます。それぞれの広がりは約 1 なので、和の広がりは約 d の平方根です。理由:独立なランダムな数を足すとき、その広がりは足し合わさらず、その 2 乗が足し合わさります(2 乗は分散と呼ばれる)。それぞれ分散 1 の d の積は分散 d を返すので、広がりは d の平方根です。d = 64 なら 8 です。
プラスマイナス 8 以上に広がった点数は、ソフトマックスをほとんどワンホットにします:ひとつの重みが 1 近く、残りは 0 近く。ワンホットのソフトマックスの勾配はごく小さなものです:それぞれの出力の自分の点数についての傾きは p(1 - p) で、p が 0 か 1 に近いと 0 に近く(モジュール 2 のソフトマックスの勾配のレッスンがそれを導き、このモジュールのアテンションをさかのぼるレッスンがそれを使う)、なのでモデルはゆっくり学びます。d の平方根で割れば、d が何であれ、広がりは約 1 に戻ります。
予測してください:d が 4 から 256 に大きくなるにつれ、割り算ありとなしで、最大の重みに何が起きるか?
このレッスンの言葉と記号
- クエリ、キー、バリュー
- 位置が探すもの。それぞれの位置が照合のために差し出すもの。それが手渡すもの
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
my_guess を埋めてください。それから top_weight(d, scaled) を書きます:2,000 のランダムなクエリを、それぞれ 32 のランダムなキーに対して(正規分布の数、シード 0)、最大のソフトマックスの重みの平均。measured を埋めてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。