Fallimento produttivo: XOR con un neurone
Perché è importante Fallire di proposito qui ti insegna, meglio di qualsiasi spiegazione, perché le reti hanno bisogno di più di un layer.
XOR ("o esclusivo") vale 1 quando esattamente uno dei due input vale 1. Quattro punti: (0,0) è 0, (0,1) è 1, (1,0) è 1, (1,1) è 0. Il tuo compito: far azzeccare tutti e quattro al tuo neurone logistico dell'ultima lezione. Prova qualsiasi learning rate, qualsiasi numero di passi e qualsiasi seme.
Il neurone qui parte da pesi casuali. Questo conta: partendo da tutti zeri, su XOR il suo gradiente è esattamente 0 per simmetria (i quattro punti tirano con la stessa forza in direzioni opposte), quindi non si muoverebbe mai. È un fallimento diverso da quello di cui parla questa lezione, quindi lo escludiamo.
Passa qualche minuto a provarci davvero prima di leggere il suggerimento. Faticare prima è il punto: le ricerche sull'apprendimento trovano che chi affronta un problema prima che gli venga insegnata l'idea la capisce meglio dopo.
Parole e simboli di questa lezione
- neurone
- w . x + b, poi un'attivazione
- pesi (w, W), bias (b)
- i numeri che un neurone impara; il bias sposta il suo output
- sigmoide
- 1 / (1 + exp(-z)): schiaccia qualsiasi numero tra 0 e 1
- learning rate (lr)
- quanto è grande ogni passo di addestramento
Usa train_logistic(X, y, lr, steps, seed) su XOR con almeno tre impostazioni diverse, e metti l'accuratezza di ogni risultato in my_attempts. Poi imposta reason sulla lettera della spiegazione vera:
A: servono più passi. B: un singolo neurone può dividere il piano solo con una linea retta, e nessuna linea retta separa XOR. C: il learning rate è sbagliato. D: quattro punti sono troppo pochi per imparare.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.