シラバス レッスン 246 中 42 · モジュール 3:ニューロンから MLP へ
モジュール 3:ニューロンから MLP へ

生産的失敗:ひとつのニューロンでの XOR

なぜ大切か ここでわざと失敗することは、どんな説明よりもよく、なぜネットワークに 2 つ以上の層が要るかを教えてくれます。

XOR(「排他的論理和」)は、2 つの入力のちょうどひとつが 1 のときに 1 です。4 つの点:(0,0) は 0、(0,1) は 1、(1,0) は 1、(1,1) は 0。あなたの仕事:前のレッスンのロジスティックのニューロンに、4 つすべてを正しくさせること。どんな学習率、どんなステップの数、どんなシードでも試してください。

ここのニューロンはランダムな重みから始まります。それは大事です:すべてゼロから始めると、XOR ではその勾配は対称性からまさに 0 になり(4 つの点が反対の向きに等しく引っ張る)、まったく動かないでしょう。それはこのレッスンが扱うものとは違う失敗なので、除外します。

ヒントを読む前に、数分、本気で試してください。先に格闘することが要点です:学びについての研究は、考えを教わる前に問題を試した人が、そのあとでそれをよりよく理解することを見出しています。

このレッスンの言葉と記号
ニューロン
w . x + b、それから活性化
重み (w, W)、バイアス (b)
ニューロンが学ぶ数。バイアスはその出力をずらす
sigmoid
1 / (1 + exp(-z)):どんな数も 0 から 1 に押し込む
学習率 (lr)
訓練のそれぞれのステップの大きさ
あなたの番

XOR で train_logistic(X, y, lr, steps, seed) を少なくとも 3 つの違う設定で使い、それぞれの結果の正解率を my_attempts に入れてください。それから reason に、本当の説明の文字を設定してください:

A:もっとステップが要る。B:ひとつのニューロンは平面を一本の直線でしか分けられず、XOR を分ける直線はない。C:学習率が間違っている。D:4 つの点は学ぶには少なすぎる。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。