モジュール 6:始まりの重みと正規化
LayerNorm と RMSNorm
以前このコースを受けたことがありますか?
あなたを 1 人として数えるためです。送られるのはあなたの答えと匿名の進捗だけです。
なぜ大切か Transformer は BatchNorm を使いません。それぞれの例を単独で正規化するので、今出会ったバッチの罠を避け、どんなバッチの大きさでも動きます。
- LayerNorm は、それぞれの例(それぞれの行)の特徴にわたって正規化します:行の平均を引き、行の散らばりで割り、それから特徴ごとの gamma と beta。訓練でも使用でも同じです。
- RMSNorm はより単純で、多くの最近の言語モデルが使います:平均を飛ばし、それぞれの行をその二乗平均平方根
sqrt(mean(x squared) + eps)で割り、それから gamma を掛けます。
小さな数
行 [3, 4]。RMS = sqrt((9 + 16) / 2) = 3.536。RMSNorm は [0.849, 1.131] を返します。LayerNorm はまず平均 3.5 を引きます:[-1, 1]。
このレッスンの言葉と記号
- Xavier、LeCun、He
- 始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
- BatchNorm (gamma, beta)
- それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
- LayerNorm、RMSNorm
- それぞれの例を単独で、その特徴にわたって正規化する
あなたの番
どちらも行ごとの layernorm(X, gamma, beta, eps=1e-5) と rmsnorm(X, gamma, eps=1e-6) を書いてください。
レッスン完了。お見事です。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。