Programma Les 42 van 246 · Module 3: Neuron naar MLP
Module 3: Neuron naar MLP

Productieve mislukking: XOR met één neuron

Waarom dit ertoe doetOpzettelijk falen hier leert je beter dan enige uitleg waarom netwerken meer dan één laag nodig hebben.

XOR ("exclusive or") is 1 wanneer precies één van de twee inputs 1 is. Vier punten: (0,0) is 0, (0,1) is 1, (1,0) is 1, (1,1) is 0. Jouw taak: zorg dat je logistic neuron uit de vorige les alle vier goed krijgt. Probeer elke learning rate, elk aantal steps en elke seed.

Het neuron hier begint met willekeurige weights. Waarom dit ertoe doet: begon het met alleen nullen, dan is de gradient bij XOR precies 0 door symmetrie (de vier punten trekken even hard in tegenovergestelde richtingen), dus zou het helemaal niet bewegen. Dat is een andere fout dan waar deze les over gaat, dus sluiten we die uit.

Besteed een paar minuten aan echt proberen voordat je de hint leest. Eerst worstelen is het doel: onderzoek naar leren laat zien dat mensen die een probleem proberen op te lossen voordat ze het idee leren, het daarna beter begrijpen.

Woorden en symbolen in deze les
neuron
w . x + b, dan een activatie
weights (w, W), bias (b)
de getallen die een neuron leert; de bias verschuift zijn output
sigmoid
1 / (1 + exp(-z)): drukt elk getal in 0 tot 1
leersnelheid (lr)
hoe groot elke trainingsstap is
Jij bent aan de beurt

Gebruik train_logistic(X, y, lr, steps, seed) op XOR met ten minste drie verschillende instellingen, en zet de nauwkeurigheid van elk resultaat in my_attempts. Stel daarna reason in op de letter van de juiste uitleg:

A: het heeft meer stappen nodig. B: een enkel neuron kan het vlak maar met één rechte lijn splitsen, en geen enkele rechte lijn scheidt XOR. C: de learning rate is fout. D: vier punten zijn te weinig om van te leren.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.