Hoe spread optelt, en wat een matrix uitrekt
Waarom dit ertoe doet Twee feiten bepalen of een diep netwerk überhaupt traint: hoe de spreiding van een som groeit met het aantal termen (Module 6 stelt beginweights vast met dit) en hoeveel een matrix een vector uitrekt elke keer dat het wordt toegepast (de RNNs van Module 11 passen deze herhaaldelijk toe).
Spreiding van een som
Tel n onafhankelijke getallen op, elk met variantie v. De varianties tellen op: de som heeft variantie n v, dus de spreiding (standaarddeviatie) is sqrt(n v). Kleine getallen: 100 inputs met elk een spreiding van 1 geven een som met spreiding 10, niet 100 en niet 1. Een neuron telt n inputs vermenigvuldigd met weights op, dus om de spreiding van de output dicht bij 1 te houden, heeft elke weight een spreiding van ongeveer 1 / sqrt(n) nodig. Dat is de gedachte achter de startgewichten van Module 6.
Wat een matrix uitrekt
Sommige vectoren worden alleen langer of korter wanneer een matrix A ze vermenigvuldigt; hun richting blijft gelijk. Zo'n vector is een eigenvector en de rekfactor is zijn eigenvalue. Vermenigvuldig een vector keerop keer weer met A en de richting met de grootste eigenwaarde (in grootte) wint: na t stappen groeit of krimpt de lengte zoals die eigenwaarde tot de macht t. Dus een grootste grootte boven 1 explodeert, en onder 1 vervaagt.
Tintalletjes: A = [[0.5, 0], [0, 1.2]]. De eigenwaarden zijn 0.5 en 1.2. Na 10 stappen is de eerste richting gekrompen naar 0.510, ongeveer 0.001, en de tweede is gegroeid naar 1.210, ongeveer 6.2.
Eigenvalue: hoeveel een matrix één speciale richting uitrekt. Spectral radius: de grootste eigenvalue qua grootte, wat bepaalt of herhaalde vermenigvuldiging groeit of vervaagt.
Samenvatting Varianten tellen op, dus spreidingen groeien als sqrt(n). Herhaalde vermenigvuldiging groeit als de grootste eigenvalue tot de macht t.
Woorden en symbolen in deze les
- vector
- een lijst met getallen, één per feature
Drie stappen:
- Schrijf
sum_spread(n, sd, trials, seed): trek metrng = np.random.default_rng(seed)trialssommen van n normale getallen met spreiding sd, en geef de spreiding (np.std) van die sommen terug. - Zet
predictedop de spreiding die de regel geeft voor n = 100, sd = 0.5 (sqrt(n) × sd). - Schrijf
growth_rate(A, steps=200): begin met een vector van enen; vermenigvuldigstepskeer met A en schaal het resultaat terug naar lengte 1; geef de lengte terug die de vector had vlak voor de laatste terugschaling. Uitgewerkt voorbeeld: voor A = [[0.5, 0], [0, 1.2]] is het antwoord 1.2.
Waarom stap 3 werkt: door herhaald vermenigvuldigen wint de grootste uitrekking, dus de laatste lengte na één stap is de eigenwaarde die in grootte het grootst is, gevonden zonder enige eigenwaardefunctie. (De controle gebruikt symmetrische matrices, waarvoor dit altijd geldt. Bij sommige andere matrices vormen de twee grootste een complex paar en schommelt de lengte van stap tot stap; dat geval heb je niet nodig.)
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.