Programma Les 24 van 246 · Module 2: Wiskunde en kansberekening, alleen indien nodig
Module 2: Wiskunde en kansberekening, alleen indien nodig

Matrix vermenigvuldiging: een hele laag tegelijk

Waarom dit ertoe doetEen laag is veel neuronen, en een batch is veel inputs. Eén matrix vermenigvuldiging berekent elk neuron op elke input in één regel.

Stack de inputs als rijen van X (vorm: inputs bij features). Stack de weights van elk neuron als een kolom van W (vorm: features bij neurons). Dan heeft X @ W één rij per input en één kolom per neuron: invoer (i, j) is het dot product van input i met de weights van neuron j.

Tintalletjes

X = [[1, 2],      W = [[1, 0, -1],
     [3, 4]]           [0, 1,  1]]
X @ W = [[1, 2, 1],
         [3, 4, 1]]

Rij 1, kolom 3: 1 keer -1 plus 2 keer 1 is gelijk aan 1. De keten van vormen: (2, 2) @ (2, 3) geeft (2, 3). De binnenste getallen moeten overeenkomen.

Matrix multiply: elke rij van links keer elke kolom van rechts, als dot products.

Samenvatting (batch, in) @ (in, out) = (batch, out). Die ene vormregel bepaalt de hele cursus.

Woorden en symbolen in deze les
dot product (a . b)
vermenigvuldig overeenkomende items en tel ze bij elkaar op; groot wanneer de vectoren overeenstemmen
Jij bent aan de beurt

Schrijf layer(X, W, b) die X @ W + b retourneert, en layer_shape(batch, n_in, n_out) die de output shape als een tuple retourneert zonder arrays aan te maken.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.