Een Forward Pass met Twee Lagen
Eén neuron is een lijn. Stapel een layer van ze op, voeg een nonlineariteit toe, en voer dat dan in een andere laag. Het netwerk kan dan buigen om bijna alles aan te passen. Data door de lagen halen om een output te krijgen wordt forward pass genoemd.
EenA laag is gewoon een matrix vermenigvuldiging: elke kolom van de weight matrix zijn de gewichten van één neuron. Met numpy is de hele laag x @ W + b (de @ operator is matrixvermenigvuldiging).
Tussen lagen passen we een niet-lineaire activatie toe. Moderne netwerken geven de voorkeur aan ReLU (Rectified Linear Unit), wat simpelweg max(0, z) is: houd positieven, zet negatieven naar nul. Zonder een niet-lineariteit zou het stapelen van lagen terugvallen naar een enkele lijn.
import numpy as np
def relu(z):
return np.maximum(0, z)
h = relu(x @ W1 + b1) # hidden layer
out = h @ W2 + b2 # output layerWaarom we dit hier in numpy doen
De echte frameworks hiervoor zijn TensorFlow en PyTorch. Ze kunnen niet draaien in deze les: Pyodide is CPython gecompileerd naar WebAssembly in je browser, en die bibliotheken bevatten zware native C++ en CUDA/GPU code die geen WebAssembly build heeft. We krijgen de intuition met een paar regels numpy, wat precies is wat een forward pass onder de motorkap is. De frameworks voegen autograd, GPU's en schaal toe, geen nieuwe ideeën over deze stap.
Kijk naar de vormen: een input van lengte 3 door een 3x4 weight matrix geeft 4 hidden values; door een 4x1 matrix wordt dit een single output.
Maak de forward pass af. Schrijf relu(z) met np.maximum, bereken dan de hidden layer h = relu(x @ W1 + b1) en de output out = h @ W2 + b2 met de gegeven weights.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.