勾配の消失と爆発を測る
なぜ大切か 早い一歩の勾配が、一歩ごとに一度 w を掛けられるのを今見ました。多くの歩では、その積は無に縮むか、吹き飛びます。これが素の RNN の主な弱点です。
数の代わりに重みの行列 W があると、一歩戻ることは勾配に W の転置を掛けます(tanh は無視します。それはさらに縮めることしかできません)。一歩でベクトルを大きくできるのは多くとも W の最大の伸び、その スペクトルノルム までです。多くの歩で効くのは スペクトル半径、W の最大の固有値の大きさです(モジュール 2、「広がりはどう足し合わさり、行列は何を伸ばすか」):k 歩のあと、大きさはおよそ r の k 乗だけ変わっています。(下で使う回転では、2 つは同じ数 r です。)r = 0.9 で 50 歩:0.005。r = 1.1 で 50 歩:117。
2 つの異なる治し方
勾配の爆発には荒っぽい治し方があります:切り詰めることです(モジュール 5)。勾配の消失にはそうした治し方がありません。重みの全体の勾配は、時間をさかのぼるすべての距離の上の和です。長い距離の項が 0.9 の 50 乗のように縮むと、短い距離の項に埋もれ、和全体を大きくするとノイズも一緒に大きくなります。ネットワークには、ずっと前の何かが大切だったことがとにかくわかりません。そこでの治し方は別の構造です:次の LSTM です。
このレッスンの言葉と記号
- 再帰型ネットワーク(RNN)
- 一度に一歩ずつ読み、隠れ状態を前へ運ぶネットワーク
- 勾配の消失 / 爆発
- 同じ行列を何度も掛けられた勾配は、無に縮むか吹き飛ぶ
- LSTM
- 記憶のセル c と 3 つのゲート(忘却、入力、出力)を持つ RNN
gradient_sizes(W, steps) を書いてください:1 の勾配から始め、一歩ごとに一度 W.T を掛け、ノルムのリスト(一歩ごとにひとつ)を返します。それから 3 つの行列について verdicts を "vanish"、"steady"、"explode" に設定してください。50 歩のあとのノルムで判断します(0.01 より下、0.01 と 100 の間、100 より上)。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。