シラバス レッスン 246 中 44 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

活性化:層の間の曲げ

なぜ大切か 層の間に曲げがなければ、10 の層はひとつより賢くありません。曲げの選び方は、勾配が流れられるかも決めます。

どこでも出会う 3 つの活性化:

  • ReLU:max(0, z)。安く、正の入力では傾きがまさに 1 なので、勾配が弱まらずに通ります。負では傾き 0。
  • tanh:-1 から 1 に、0 を中心に押し込みます。0 で傾き 1 ですが、大きな入力ではほぼ 0:飽和 します。
  • GELU:Transformer で使われるなめらかな ReLU で、おおよそ z 掛ける sigmoid(1.702 z)。

なぜ傾きが大事か

誤差逆伝播法は、それぞれの活性化の傾きを掛けます。0 に近い傾き(飽和した tanh、負の入力での ReLU)は勾配をふさぎます。モジュール 6 で、それが本物の訓練の失敗を起こすのを見ます。

飽和する:曲線の平らな部分にいることで、そこでは傾き、つまりそこを通る勾配がほぼゼロです。

まとめ 活性化は曲げ、その傾きがどれだけの勾配が流れ戻るかを決めます。

このレッスンの言葉と記号
sigmoid
1 / (1 + exp(-z)):どんな数も 0 から 1 に押し込む
ReLU
max(0, z):正を残し、負をゼロにする
誤差逆伝播法
すべての重みの勾配を得るため、逆向きに動かす連鎖律
あなたの番

それぞれの活性化とその傾きを書いてください:relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope、すべて配列の上で。GELU の近似 z * sigmoid(1.702 z) を使います。その傾きには 2 つの規則が一緒に要ります:積の法則(u × v の傾きは u' × v + u × v')と、sigmoid の中の連鎖律(sigmoid(1.702 z) の傾きは 1.702 × s(1 - s)、s = sigmoid(1.702 z))。ちょうど 0 での ReLU の傾きには 0 を使ってください。隠れたテストは、どの傾きも少しの動きと照らし合わせます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。