シラバス レッスン 246 中 83 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

LayerNorm と RMSNorm

なぜ大切か Transformer は BatchNorm を使いません。それぞれの例を単独で正規化するので、今出会ったバッチの罠を避け、どんなバッチの大きさでも動きます。

  • LayerNorm は、それぞれの例(それぞれの行)の特徴にわたって正規化します:行の平均を引き、行の散らばりで割り、それから特徴ごとの gamma と beta。訓練でも使用でも同じです。
  • RMSNorm はより単純で、多くの最近の言語モデルが使います:平均を飛ばし、それぞれの行をその二乗平均平方根 sqrt(mean(x squared) + eps) で割り、それから gamma を掛けます。

小さな数

行 [3, 4]。RMS = sqrt((9 + 16) / 2) = 3.536。RMSNorm は [0.849, 1.131] を返します。LayerNorm はまず平均 3.5 を引きます:[-1, 1]。

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
BatchNorm (gamma, beta)
それぞれの特徴をバッチの上で正規化し、学習した gamma と beta で縮尺し直す
LayerNorm、RMSNorm
それぞれの例を単独で、その特徴にわたって正規化する
あなたの番

どちらも行ごとの layernorm(X, gamma, beta, eps=1e-5) と rmsnorm(X, gamma, eps=1e-6) を書いてください。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。