シラバス レッスン 246 中 45 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

こぶからどんな曲線も(万能近似)

なぜ大切か 隠れ層がひとつのネットワークはどんな曲線にも合わせられる、と言われます。ここでは、こぶから自分で作ることで、その理由を見ます。

見てみる

とても急な sigmoid は段差です:左で 0、右で 1。left で上がる段差と right で下がる段差の 2 つがこぶを作ります:height * (sigmoid(s (x - left)) - sigmoid(s (x - right)))。それは 2 つの隠れたニューロンとひとつの出力の重みです。それぞれその場所での曲線の高さのこぶを並べると、棒グラフのように、どんな曲線もなぞれます。ニューロンが多いほど棒は細く、合い方は近くなります。

万能近似:十分なニューロンを持つひとつの隠れ層は、どんなまともな曲線にも好きなだけ近づけられます。その重みを訓練で見つけるのがどれだけ簡単かについては、何も言いません。

まとめ 2 つのニューロンがこぶを作り、十分なこぶが何でも作ります。

このレッスンの言葉と記号
ニューロン
w . x + b、それから活性化
重み (w, W)、バイアス (b)
ニューロンが学ぶ数。バイアスはその出力をずらす
sigmoid
1 / (1 + exp(-z)):どんな数も 0 から 1 に押し込む
隠れ層
入力と出力の間の、新しい特徴を作る層
あなたの番

bump(x, left, right, height, s=60) を書き、それから 0 から pi を n_bumps の等しいかけらに分け、かけらごとにひとつのこぶを、それぞれそのかけらの真ん中での f の高さで加える approx(x, f, n_bumps) を書いてください。10 のこぶ(20 のニューロン)で、0 から pi での sin に対する平均二乗誤差は 0.01 未満でなければなりません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。