シラバス レッスン 246 中 84 · モジュール 6:始まりの重みと正規化
モジュール 6:始まりの重みと正規化

近道(残差接続)

なぜ大切か 残差接続は、何百もの層を持つネットワークがそもそも訓練される理由です。どの Transformer のブロックもそれを使います。

素朴な層は入力を置き換えます:h = f(h)。残差のブロックはそれに足します:h = h + f(h)。f が何も役に立つことを学ばなければ、ブロックはただ h を変えずに通すので、余分な深さが始まりで物事を悪くすることは決してありません。そして戻りでは、勾配は「+ h」の道に沿った直接の経路を持ち、層をまるごと飛ばすので、消えることができません。

下の実験についての公平な警告:どちらのネットワークも、わざと小さな同じ重み N(0, 0.1) から始まります。その始まりこそが素朴なネットワークを沈めます。このモジュールの前のほうの He の始まりの重みなら、素朴な 30 層のネットワークも訓練されます(コースの実行では 6 つのシードのうち 5 つ)。近道が加えるのは頑丈さです:まずい始まりからでも訓練され、注意深い始まりの重みだけでは足りなくなる深さでも動き続けます。

ここでは、30 回の足し算が信号を爆発させないよう、それぞれのブロックの寄与を 1 / depth でも縮尺します。よくある手口です。

残差接続(スキップ接続、近道とも):ブロックの入力をその出力に足すことです。

曲線を当てる:素朴なネットワークと近道付きのものについて、150 ステップのあとの最終的な損失を推測してください。(この 2 クラスの課題で、損失 0.693 は硬貨投げを意味します。)

このレッスンの言葉と記号
Xavier、LeCun、He
始まりの散らばり:tanh には sqrt(2 / (inputs + outputs)) か 1 / sqrt(inputs)、ReLU には sqrt(2 / inputs)
残差接続
ブロックの入力をその出力に足すこと:h + f(h)
あなたの番

my_guess を埋めてください。それから block(h, W, b, shortcuts, depth) を書きます:近道なしなら relu(h @ W + b) を、近道ありなら h + relu(h @ W + b) * (1 / depth) を返します。テストは、同じ小さな始まりの重みから両方の 30 層のネットワークを訓練します。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。