少しずつ動かして傾きを(微分)
なぜ大切か 訓練は何度も何度もひとつの問いを尋ねます:この重みを少し動かしたら、損失に何が起こるか? その問いには名前があります:微分です。
見てみる
x = 3 での f(x) = x * x を取ります。f は 9 です。x を 3.001 に動かすと、f は 9.006001 になります。入力の 0.001 の動きに対して出力は 0.006001 動き、約 6 倍です。なので 3 での傾きは約 6 です。
x の 2 乗の正確な傾きは 2 掛ける x で、x = 3 では 6 です。少しずつ動かしてほとんどまさにそれが得られました。両方向に動かして平均する (f(x + h) - f(x - h)) / (2h) は、さらに正確です。
微分:ある点で、入力の単位の変化あたりに出力がどれだけ速く変わるかです。そこでの曲線の傾きです。
必要になる傾き
いつでも少しずつ動かせますが、この正確な傾きはこのコースで何度も何度も出てきます。どれも slope 関数で簡単に確かめられます。
| 関数 | 傾き |
|---|---|
| x の n 乗 | n 掛ける x の n - 1 乗(なので x の 2 乗の傾きは 2x) |
| exp(x) | exp(x):自分自身が傾き |
| log(x) | 1 / x |
| sigmoid(x) = 1 / (1 + exp(-x)) | sigmoid(x) 掛ける (1 - sigmoid(x)) |
| tanh(x) | 1 - tanh(x) の 2 乗 |
| a 掛ける b、どちらも x による | (a の傾き) 掛ける b + a 掛ける (b の傾き):積の法則 |
| f(g(x))、ひとつが別のものの中 | g(x) での f の傾き、掛ける g の傾き:連鎖律、次のレッスン |
まとめ 少し動かし、測り、割る。微分とはそれだけです。
このレッスンの言葉と記号
- 微分 (df/dx)
- 入力の単位の動きあたりに、出力がどれだけ速く変わるか
- 連鎖律
- 並んだ手順の傾きは、それぞれの手順自身の傾きの積
両側の動きを使って slope(f, x, h=1e-5) を書いてください。ひとつの数のどんな関数でも動かなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。