Kurrikulum Leson 32 van 246 · Module 2: Wiskunde en waarskynlikheid, net soos nodig
Module 2: Wiskunde en waarskynlikheid, net soos nodig

Hoe spread bymekaar tel, en wat 'n matrix strek

Waarom dit saak maak Twee feite besluit of 'n diep netwerk aan die een of ander kant opleer: hoe die spreiding van 'n som groei met die aantal terme (Module 6 stel beginwegte met dit vas), en hoeveel 'n matrix 'n vektor uitrek elke keer dit toegepas word (Module 11 se RNNs pas een oor en oor toe toe).

Verspreiding van 'n som

Tel n onafhanklike getalle by, elk met variansie v. Die variansies tel by: die som het variansie n v, so sy spreiding (standaardafwyking) is sqrt(n v). Klein getalle: 100 insets met elk 'n spreiding van 1 gee 'n som met 'n spreiding van 10, nie 100 nie en nie 1 nie. 'n Neuron tel n insets maal gewigte by, so om die spreiding van sy uitset naby 1 te hou, het elke gewig 'n spreiding van ongeveer 1 / sqrt(n) nodig. Dit is die idee agter Module 6 se begingewigte.

Wat 'n matriks strek

Sommige vektore word net langer of korter wanneer 'n matriks A hulle vermenigvuldig; hulle rigting bly dieselfde. So 'n vektor is 'n eigenvector en die strekfactor is sy eigenvalue. Vermenigvuldig 'n vektor met A weer en weer en die rigting met die grootste eigenvalue (in grootte) wen: na t stappe groei of krimp die lengte soos daardie eigenvalue tot die mag t. So 'n grootste grootte bo 1 blaas op, en onder 1 vervaag dit weg.

Tinky getalle: A = [[0.5, 0], [0, 1.2]]. Sy eiewaardes is 0.5 en 1.2. Na 10 stappe het die eerste rigting gekrimp tot 0.510, ongeveer 0.001, en die tweede het gegroei tot 1.210, ongeveer 6.2.

Eigenvalue: hoeveel 'n matriks een spesiale rigting uitrek. Spectral radius: die grootste eigenvalue in grootte, wat besluit of herhaalde vermenigvuldiging groei of vervaag.

Opsomming Varianses word bygevoeg, so spreads groei soos sqrt(n). Herhaalde vermenigvuldiging groei soos die grootste eiewaarde tot die mag t.

Woorde en simbole in hierdie les
vector
'n lys van nommers, een per kenmerk
Jou beurt

Drie stappe:

  1. Skryf sum_spread(n, sd, trials, seed): met rng = np.random.default_rng(seed), teken trials somme van n normale getalle met spreiding sd, en gee die spreiding (np.std) van daardie somme terug.
  2. Stel predicted in op na die spreiding wat die reël gee vir n = 100, sd = 0.5 (sqrt(n) x sd).
  3. Skryf growth_rate(A, steps=200): begin by met 'n vektor van eense; steps keer, vermenigvuldig met A en skaal die resultaat na lengte 1; gee die lengte van die vektor terug net voor die laaste skaal. Werende voorbeeld: vir A = [[0.5, 0], [0, 1.2]] is die antwoord 1.2.

Hoekom stap 3 werk: herhaalde vermenigvuldiging laat die grootste strekking wen, so die laaste een-stap lengte is die grootste eiewaarde in grootte, gevind sonder enige eiewaarde funksie. (Die kontrole gebruik simmetriese matrices, waar dit altyd geld. Vir sommige ander matrices is die twee grootste 'n komplekse paar en die lengte wankel van stap tot stap; jy sal nie daardie geval nodig hê nie.)

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.