シラバス レッスン 246 中 150 · モジュール 13:アテンションとトランスフォーマー
モジュール 13:アテンションとトランスフォーマー

層の正規化:それぞれのベクトルを範囲に保つ

なぜ大切か モジュール 6 は、バッチの上で平均するバッチ正規化で活性化を健全に保ちました。文章のバッチは長さがまちまちで、生成は一度にひとつの系列を走らせるので、トランスフォーマーはそれぞれの位置のベクトルを単独で正規化します:層の正規化です。

d の数のひとつのベクトル x について:その平均を引き、その標準偏差(決して 0 で割らないよう、ごく小さな epsilon 1e-5 を足す)で割り、それから学習した g と b で拡大してずらします:

y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b

走りながらの和がどれだけ大きくなっていても、どのトークンのベクトルも、平均 0、広がり 1 でそれぞれのアテンションとそれぞれのフィードフォワードの部分に入ります。

このレッスンの言葉と記号
アテンション
クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
層の正規化
それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
あなたの番

どんな形の配列についても、最後の軸に沿って正規化する layer_norm(x, g, b) を書いてください。コースのエンジンの layernorm と一致しなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。