自動微分エンジンを作る
勾配をひとつ手で計算し、勾配チェックをしました。本物のネットワークには何百万ものパラメーターがあるので、ひとつずつ手で導くことはできません。ディープラーニングを可能にしている技が 自動微分 です。すべての値が自分がどう計算されたかを覚えていて、勾配はその記録を逆向きに自動で流れます。これから、そのエンジンを数行で作ります。PyTorch や Karpathy の micrograd の中にあるのと同じ考え方です。
単位は Value です。自分の勾配と、入力へ勾配を押し戻す方法を知っている小さな関数も持っている数です。2 つの Value を足したり掛けたりすると、結果は親を記録します。下の土台は、__init__ と、グラフを正しい順にたどる backward()(トポロジカルソートをして、出力から逆向きに連鎖律)を与えてくれます。あなたは 2 つの局所的な勾配を実装します。それがこのレッスンのすべてです:
def __add__(self, other):
out = Value(self.data + other.data, (self, other))
def _backward():
self.grad += out.grad # d(a+b)/da = 1
other.grad += out.grad # d(a+b)/db = 1
out._backward = _backward
return out足し算は、入ってきた勾配を両方の入力にそのまま写すだけです。掛け算では連鎖律が効いてきます。d(a*b)/da = b と d(a*b)/db = a で、それぞれに上から流れてくる勾配(out.grad)を掛けます。= ではなく += であることに注意してください。何か所かで使われる値は、それぞれから勾配を積み重ねます。
__add__ と __mul__ を完成させて、その _backward クロージャーが正しい局所的な勾配を設定するようにしてください。隠れたテストは式を作り、.backward() を呼び、すべての結果を差分と比べて勾配チェック するので、間違ったルールでは合格できません。Run を押して、a*b + a を逆伝播してみましょう。
誤差逆伝播法が正しくなるよう、Value クラスの __add__ と __mul__ を完成させてください。__add__ の _backward では、out.grad を self.grad と other.grad の両方に足します(局所的な微分は 1)。__mul__ の _backward では、other.data * out.grad を self.grad に、self.data * out.grad を other.grad に足します(積の法則)。再利用される値が勾配を積み重ねるよう、+= を使います。順番は与えられた backward() が扱います。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。