シラバス レッスン 246 中 128 · モジュール 11:記憶を持つネットワーク(RNN)
モジュール 11:記憶を持つネットワーク(RNN)

勾配の消失と爆発を測る

なぜ大切か 早い一歩の勾配が、一歩ごとに一度 w を掛けられるのを今見ました。多くの歩では、その積は無に縮むか、吹き飛びます。これが素の RNN の主な弱点です。

数の代わりに重みの行列 W があると、一歩戻ることは勾配に W の転置を掛けます(tanh は無視します。それはさらに縮めることしかできません)。一歩でベクトルを大きくできるのは多くとも W の最大の伸び、その スペクトルノルム までです。多くの歩で効くのは スペクトル半径、W の最大の固有値の大きさです(モジュール 2、「広がりはどう足し合わさり、行列は何を伸ばすか」):k 歩のあと、大きさはおよそ r の k 乗だけ変わっています。(下で使う回転では、2 つは同じ数 r です。)r = 0.9 で 50 歩:0.005。r = 1.1 で 50 歩:117。

2 つの異なる治し方

勾配の爆発には荒っぽい治し方があります:切り詰めることです(モジュール 5)。勾配の消失にはそうした治し方がありません。重みの全体の勾配は、時間をさかのぼるすべての距離の上の和です。長い距離の項が 0.9 の 50 乗のように縮むと、短い距離の項に埋もれ、和全体を大きくするとノイズも一緒に大きくなります。ネットワークには、ずっと前の何かが大切だったことがとにかくわかりません。そこでの治し方は別の構造です:次の LSTM です。

このレッスンの言葉と記号
再帰型ネットワーク(RNN)
一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
勾配の消失 / 爆発
同じ行列を何度も掛けられた勾配は、無に縮むか吹き飛ぶ
LSTM
記憶のセル c と 3 つのゲート(忘却、入力、出力)を持つ RNN
あなたの番

gradient_sizes(W, steps) を書いてください:1 の勾配から始め、一歩ごとに一度 W.T を掛け、ノルムのリスト(一歩ごとにひとつ)を返します。それから 3 つの行列について verdicts を "vanish"、"steady"、"explode" に設定してください。50 歩のあとのノルムで判断します(0.01 より下、0.01 と 100 の間、100 より上)。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。