Elke curve uit bumps (universele benadering)
Waarom dit ertoe doetMensen zeggen dat een netwerk met één verborgen laag elke curve kan aanpassen. Hier zie je waarom, door het zelf te bouwen uit bulten.
Bekijk het
Een zeer steile sigmoid is een stap: 0 links, 1 rechts. Twee stappen, één omhoog bij left en één omlaag bij right, maken een bult: height * (sigmoid(s (x - left)) - sigmoid(s (x - right))). Dat zijn twee verborgen neuronen en één output weight. Zet bulten naast elkaar, elk zo hoog als de curve op zijn plek, en je tekent elke curve, zoals een staafdiagram. Meer neuronen, dunnere staven, nauwere aansluiting.
Universele benadering: één verborgen laag met genoeg neuronen kan zo dicht mogelijk bij elke redelijke curve komen. Het zegt niets over hoe makkelijk die weights te vinden zijn door training.
Samenvatting Twee neuronen maken een bult; genoeg bulten maken alles.
Woorden en symbolen in deze les
- neuron
- w . x + b, dan een activatie
- weights (w, W), bias (b)
- de getallen die een neuron leert; de bias verschuift zijn output
- sigmoid
- 1 / (1 + exp(-z)): drukt elk getal in 0 tot 1
- hidden layer
- a laag tussen input en output die nieuwe features bou
Schrijf bump(x, left, right, height, s=60), dan approx(x, f, n_bumps) dat 0 tot pi in n_bumps gelijke stukken splitst en één bult per stuk toevoegt, elk met de hoogte van f in het midden van zijn stuk. Met 10 bulten (20 neuronen) moet de mean squared error tegenover sin op 0 tot pi onder 0.01 liggen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.