Adam:玉とつまみ
なぜ大切か Adam は、ほとんどの深層学習の既定の最適化手法です。それはモメンタムと RMSProp を一緒にしたものに、始まりでとても大事な小さな補正をひとつ加えたものです。
まず小さな数
ひとつの重み、beta1 = 0.9、beta2 = 0.999、lr = 0.1。ステップ 1 での勾配は 2.0。勾配の累計の平均 m は 0 から始まります:m = 0.9 * 0 + 0.1 * 2 = 0.2。でも本当の最近の勾配は 0.2 ではなく 2 です:m は始まりのゼロへ偏っています。直すには (1 - 0.9 の t 乗) で割ります:0.2 / 0.1 = 2.0。2 乗の平均 v にも同じ補正を:0.004 / 0.001 = 4.0。歩み = 0.1 * 2 / sqrt(4) = 0.1。
補正がなければ、最初の歩みは 0.1 * 0.2 / sqrt(0.004) = 0.32 で、3 倍以上大きすぎ、本物のネットワークではそうした荒れた最初の歩みが訓練の始まりを壊しかねません。
m = b1 * m + (1 - b1) * g
v = b2 * v + (1 - b2) * g ** 2
m_hat = m / (1 - b1 ** t)
v_hat = v / (1 - b2 ** t)
p = p - lr * m_hat / (np.sqrt(v_hat) + eps)
バイアス補正:ゼロから始まった平均が最初の歩みで過小評価されないよう、(1 - beta の t 乗) で割ることです。t は 1 から歩みを数えます。
このレッスンの言葉と記号
- モメンタム (beta)
- 前の歩みの速度の一部を保つこと
- RMSProp
- それぞれの重みの歩みを、その勾配がふつうどれだけうるさいかで割ること
- Adam (m, v, t)
- モメンタム (m) 足す重みごとの音量のつまみ (v) を、最初の歩み (t) について補正したもの
まず first_step_with と first_step_without を埋めてください:上の例での、バイアス補正ありとなしのステップ 1 の大きさです。それから、更新したパラメーターの配列を返すメソッド step(p, g) を持つクラス Adam(lr, b1=0.9, b2=0.999, eps=1e-8) を書いてください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。