なぜ逆向きは安いのか(リバースモード)
なぜ大切か ネットワークには何百万もの重みがあります。それぞれの勾配に専用のたどりが要るなら、訓練は不可能でしょう。逆向きに進めば、もう 1 回のたどりくらいの値段でそのすべてが得られます。
小さな数
x が 3 つの数を持ち、L がひとつの数である L = f3(f2(f1(x))) を取ります。動きで 前向き に進むと、ひとつの入力を動かし、それを 3 つの手順すべてに通し、ひとつの勾配を知ります。3 つの入力は 3 回の完全な旅を意味します。
逆向き に進むと、ひとつの数である L から始め、「L はこれをどれだけ気にするか?」を f3、次に f2、次に f1 を通して押し戻します。1 回の旅で、すべての入力の勾配が一度に得られます。
3 つの入力では、3 回の代わりに 1 回の旅です。100 万の重みでは、100 万回の代わりに 1 回の旅です。ただし逆向きの旅はただではありません。それぞれの手順が局所的な傾きを掛けなければならないので、前向きのたどりの約 2 から 3 回分かかります。なので実際の仕事では節約は約 n / 3 で、100 万の重みではそれでも約 300,000 倍です。だからどの深層学習のライブラリも逆向きに動くのです。
リバースモード:出力から入力へ掃き戻して勾配を計算することです。その部品はベクトル・ヤコビアン積と呼ばれ、次のレッスンでそれを分解します。
まとめ 出力がひとつ、入力がたくさん:逆向きに進みましょう。
このレッスンの言葉と記号
- ベクトル
- 特徴ごとにひとつの、数のリスト
n の重みとひとつの損失を持つネットワークについて、操作の回数を埋めてください。forward_trips(n):それぞれの入力を動かすやり方が必要とする完全なたどりの数(重みごとに 1 回の動かしたたどり。あわせて動かす、動かさない 1 回のたどりは省く)。backward_trips(n):リバースモードが必要とする逆向きの掃き出しの数。それから saving_for_a_million に、n = 1,000,000 での旅の(作業のではなく)比を設定してください。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。