Kurrikulum Leson 40 van 246 · Module 3: Neuron na MLP
Module 3: Neuron na MLP

Pad afstap (gradient descent met die hand)

Waarom dit saak maak Om gewigte by hand te kies skaal nie tot 'n miljoen gewigte nie. Die gradient vertel vir elke gewig gelyktydig watter pad afdal.

Noem dit

Vir die verlies L = mean((X @ w + b - y) squared), skuif w1 en L verander by 2 * mean(error * x1), waar fout die voorspelling minus die waarheid is. Dit is die afgeleide van L met betrekking tot w1. Alles gelyktydig: grad_w = 2 * X.T @ error / n, en grad_b = 2 * mean(error).

Lees dit in eenvoudige woorde

As die voorspellings te hoog is (foutief positief) op huise met 'n groot grootte, help dit om w1 te verlaag, en die gradiënt vir w1 is positief, so ons trek dit af. Elke stap: w = w - lr * grad_w, waar lr, die learning rate, die stapgrootte stel.

Gradient descent: herhaal "bereken die gradient, neem 'n klein stap teen dit". Learning rate: die grootte van elke stap.

Voorspel die kurwe

Voordat jy jou opleiding hardloop, raai die loss by stappe 0, 10, 50 en 200 in my_guess. Die kode druk jou raai langs die waarheid.

Opsomming Gradiënt, stap teen dit, herhaal.

Woorde en simbole in hierdie les
gewigte (w, W), bias (b)
die nommers wat 'n neuron leer; die bias skuif sy uitset
leerkoers (lr)
hoe groot elke opleidingsstap is
Jou beurt

Skryf gradients(X, y, w, b) wat (grad_w, grad_b) teruggee, en train(X, y, lr, steps) wat vanaf nulle begin en (w, b, losses) teruggee, waar losses die verlies voor elke stap hou. Vul my_guess eerste in. Die getrainde verlies moet onder 0.01 eindig met lr 0.5 en die 201 stappe wat die starter vra.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.