Hoe modellen leren
A vers netwerk heeft willekeurige gewichten en is nutteloos. Training is het proces van het aanpassen van die gewichten tot de output goed wordt. Twee ideeën drijven het.
1. Een loss function meet onjuistheid
Je hebt één getal nodig dat aangeeft hoe slecht de voorspellingen zijn. Voor regressie is de standaard mean squared error (MSE): bereken het gemiddelde van de gekwadrateerde verschillen tussen de waarheid en de voorspelling.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Het kwadrateren straft grote fouten harder af en houdt alles positief. Een lagere loss is beter; een loss van nul betekent een perfecte fit.
2. Gradient descent rolt naar beneden
Stel de loss voor als een heuvelachtig oppervlak en de weights als jouw positie erop. De gradient is de helling: het wijst omhoog, naar meer loss. Om loss te verminderen, neem je een kleine stap in de opposite richting.
w = w - learning_rate * gradientDe learning rate is de stapgrootte. Herhaal dit duizenden keren en de weights rollen naar beneden naar een low-loss valley. Die loop is alles wat training is.
Voor een speelmodel y = w * x met MSE is de gradiënt van de loss ten opzichte van w gelijk aan mean(2 * (w*x - y) * x). Je zet precies één stap en ziet de loss dalen.
Van één gewicht naar een heel netwerk
Het netwerk met twee lagen dat je in de vorige les hebt gebouwd heeft veel gewichten, niet één. Het trainen ervan betekent het vinden van de gradiënt van de loss ten opzichte van every gewicht, laag voor laag. Dat is backpropagation: begin bij de loss en pas de kettingregel achterwaarts toe door elke laag om de helling van elk gewicht te krijgen, neem dan tegelijkertijd dezelfde stap naar beneden voor al deze gewichten. De rekenkunde is zwaarder, maar het idee is identiek aan de enkele stap die je hieronder zet. In echte code bereken je dit nooit handmatig: frameworks zoals PyTorch leggen de forward pass vast en één loss.backward() call berekent elke gradiënt voor je. We doen hier de versie met één gewicht zodat het mechanisme concreet blijft.
Implementeer mse(y_true, y_pred) (gemiddelde van de kwadratische verschillen). Bereken daarna voor het speelmodel y = w * x de waarde loss_before, neem een gradient-descent stap met grad = np.mean(2 * (w*x - y) * x) en w = w - lr * grad, en bereken dan loss_after. De loss moet omlaag gaan.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.