モジュール 13:アテンションとトランスフォーマー
層の正規化:それぞれのベクトルを範囲に保つ
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か モジュール 6 は、バッチの上で平均するバッチ正規化で活性化を健全に保ちました。文章のバッチは長さがまちまちで、生成は一度にひとつの系列を走らせるので、トランスフォーマーはそれぞれの位置のベクトルを単独で正規化します:層の正規化です。
d の数のひとつのベクトル x について:その平均を引き、その標準偏差(決して 0 で割らないよう、ごく小さな epsilon 1e-5 を足す)で割り、それから学習した g と b で拡大してずらします:
y = (x - mean(x)) / sqrt(var(x) + 1e-5) * g + b
走りながらの和がどれだけ大きくなっていても、どのトークンのベクトルも、平均 0、広がり 1 でそれぞれのアテンションとそれぞれのフィードフォワードの部分に入ります。
このレッスンの言葉と記号
- アテンション
- クエリとキーの点数のソフトマックスで、バリューを平均するのに使う
- 層の正規化
- それぞれのベクトルを単独で正規化する:平均 0、広がり 1、それから g を掛けて b を足す
あなたの番
どんな形の配列についても、最後の軸に沿って正規化する layer_norm(x, g, b) を書いてください。コースのエンジンの layernorm と一致しなければなりません。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。