こぶからどんな曲線も(万能近似)
なぜ大切か 隠れ層がひとつのネットワークはどんな曲線にも合わせられる、と言われます。ここでは、こぶから自分で作ることで、その理由を見ます。
見てみる
とても急な sigmoid は段差です:左で 0、右で 1。left で上がる段差と right で下がる段差の 2 つがこぶを作ります:height * (sigmoid(s (x - left)) - sigmoid(s (x - right)))。それは 2 つの隠れたニューロンとひとつの出力の重みです。それぞれその場所での曲線の高さのこぶを並べると、棒グラフのように、どんな曲線もなぞれます。ニューロンが多いほど棒は細く、合い方は近くなります。
万能近似:十分なニューロンを持つひとつの隠れ層は、どんなまともな曲線にも好きなだけ近づけられます。その重みを訓練で見つけるのがどれだけ簡単かについては、何も言いません。
まとめ 2 つのニューロンがこぶを作り、十分なこぶが何でも作ります。
このレッスンの言葉と記号
- ニューロン
- w . x + b、それから活性化
- 重み (w, W)、バイアス (b)
- ニューロンが学ぶ数。バイアスはその出力をずらす
- sigmoid
- 1 / (1 + exp(-z)):どんな数も 0 から 1 に押し込む
- 隠れ層
- 入力と出力の間の、新しい特徴を作る層
bump(x, left, right, height, s=60) を書き、それから 0 から pi を n_bumps の等しいかけらに分け、かけらごとにひとつのこぶを、それぞれそのかけらの真ん中での f の高さで加える approx(x, f, n_bumps) を書いてください。10 のこぶ(20 のニューロン)で、0 から pi での sin に対する平均二乗誤差は 0.01 未満でなければなりません。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。