生産的失敗:ひとつのニューロンでの XOR
なぜ大切か ここでわざと失敗することは、どんな説明よりもよく、なぜネットワークに 2 つ以上の層が要るかを教えてくれます。
XOR(「排他的論理和」)は、2 つの入力のちょうどひとつが 1 のときに 1 です。4 つの点:(0,0) は 0、(0,1) は 1、(1,0) は 1、(1,1) は 0。あなたの仕事:前のレッスンのロジスティックのニューロンに、4 つすべてを正しくさせること。どんな学習率、どんなステップの数、どんなシードでも試してください。
ここのニューロンはランダムな重みから始まります。それは大事です:すべてゼロから始めると、XOR ではその勾配は対称性からまさに 0 になり(4 つの点が反対の向きに等しく引っ張る)、まったく動かないでしょう。それはこのレッスンが扱うものとは違う失敗なので、除外します。
ヒントを読む前に、数分、本気で試してください。先に格闘することが要点です:学びについての研究は、考えを教わる前に問題を試した人が、そのあとでそれをよりよく理解することを見出しています。
このレッスンの言葉と記号
- ニューロン
- w . x + b、それから活性化
- 重み (w, W)、バイアス (b)
- ニューロンが学ぶ数。バイアスはその出力をずらす
- sigmoid
- 1 / (1 + exp(-z)):どんな数も 0 から 1 に押し込む
- 学習率 (lr)
- 訓練のそれぞれのステップの大きさ
XOR で train_logistic(X, y, lr, steps, seed) を少なくとも 3 つの違う設定で使い、それぞれの結果の正解率を my_attempts に入れてください。それから reason に、本当の説明の文字を設定してください:
A:もっとステップが要る。B:ひとつのニューロンは平面を一本の直線でしか分けられず、XOR を分ける直線はない。C:学習率が間違っている。D:4 つの点は学ぶには少なすぎる。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。