Hoe Modelle Leer
A vars netwerk het willekeurige gewigte en is nutteloos. Training is die proses om daardie gewigte te skuif tot die uitset goed word. Twee idees dryf dit.
1. 'n loss function meet verkeerdheid
Jy het 'n enkele getal nodig wat sê hoe sleg die voorspellings is. Vir regressie is die standaard mean squared error (MSE): bereken die gemiddelde van die gekwadrateerde gap tussen die waarheid en voorspelling.
def mse(y_true, y_pred):
diffs = np.asarray(y_true) - np.asarray(y_pred)
return float(np.mean(diffs ** 2))Squaring straf groot foute harder en hou alles positief. Lae verlies is beter; nul verlies beteken 'n perfekte pas.
2. Gradient descent rol berg af
Verbeel die verlies as 'n heuelige oppervlak en die wegte as jou posisie daarop. Die gradient is die helling: dit wys bergop, na meer verlies. So om verlies te verminder, neem jy 'n klein stap in die opposite rigting.
w = w - learning_rate * gradientDie learning rate is die stapgrootte. Herhaal dit duisende kere en die weights rol af na 'n lae-loss vallei. Daardie loop is alles wat training is.
Vir 'n speelmodel y = w * x met MSE, bereken die gradiënt van die verlies met betrekking tot w as mean(2 * (w*x - y) * x). Jy sal presies een stap neem en sien hoe die verlies daal.
Van een gewig tot 'n hele netwerk
Die twee-laag netwerk wat jy in die vorige les gebou het, het baie gewigte, nie net een nie. Om dit te train beteken om die gradiënt van die loss met betrekking tot elke every gewig te vind, laag vir laag. Dit is backpropagation: begin by die loss en pas die chain rule agterwerp deur elke laag toe om elke gewig se helling te kry, dan neem jy dieselfde heuwafpadstap op almal van hulle gelyktydig. Die rekenmetiek is swaarder, maar die idee is identies aan die enkelstap wat jy hieronder neem. In regte kode bereken jy dit nooit met die hand nie: frameworks soos PyTorch rekord die forward pass en een loss.backward() call bereken elke gradiënt vir jou. Ons doen die een-gewig weergawe hier sodat die meganisme konkreet bly.
Implementeer mse(y_true, y_pred) (gemiddelde van gekwadraatte verskille). Bereken dan vir die speelmodel y = w * x die loss_before, neem een gradiënt-daal stap met grad = np.mean(2 * (w*x - y) * x) en w = w - lr * grad, en bereken dan loss_after. Die verlies moet daal.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.