Pad afstap (gradient descent met die hand)
Waarom dit saak maak Om gewigte by hand te kies skaal nie tot 'n miljoen gewigte nie. Die gradient vertel vir elke gewig gelyktydig watter pad afdal.
Noem dit
Vir die verlies L = mean((X @ w + b - y) squared), skuif w1 en L verander by 2 * mean(error * x1), waar fout die voorspelling minus die waarheid is. Dit is die afgeleide van L met betrekking tot w1. Alles gelyktydig: grad_w = 2 * X.T @ error / n, en grad_b = 2 * mean(error).
Lees dit in eenvoudige woorde
As die voorspellings te hoog is (foutief positief) op huise met 'n groot grootte, help dit om w1 te verlaag, en die gradiënt vir w1 is positief, so ons trek dit af. Elke stap: w = w - lr * grad_w, waar lr, die learning rate, die stapgrootte stel.
Gradient descent: herhaal "bereken die gradient, neem 'n klein stap teen dit". Learning rate: die grootte van elke stap.
Voorspel die kurwe
Voordat jy jou opleiding hardloop, raai die loss by stappe 0, 10, 50 en 200 in my_guess. Die kode druk jou raai langs die waarheid.
Opsomming Gradiënt, stap teen dit, herhaal.
Woorde en simbole in hierdie les
- gewigte (w, W), bias (b)
- die nommers wat 'n neuron leer; die bias skuif sy uitset
- leerkoers (lr)
- hoe groot elke opleidingsstap is
Skryf gradients(X, y, w, b) wat (grad_w, grad_b) teruggee, en train(X, y, lr, steps) wat vanaf nulle begin en (w, b, losses) teruggee, waar losses die verlies voor elke stap hou. Vul my_guess eerste in. Die getrainde verlies moet onder 0.01 eindig met lr 0.5 en die 201 stappe wat die starter vra.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.