Kurrikulum Leson 101 van 250 · Neurale-Net Intuisie, LLMs & AI Graadstuk
Neurale-Net Intuisie, LLMs & AI Graadstuk

Hoe Modelle Leer

A vars netwerk het willekeurige gewigte en is nutteloos. Training is die proses om daardie gewigte te skuif tot die uitset goed word. Twee idees dryf dit.

1. 'n loss function meet verkeerdheid

Jy het 'n enkele getal nodig wat sê hoe sleg die voorspellings is. Vir regressie is die standaard mean squared error (MSE): bereken die gemiddelde van die gekwadrateerde gap tussen die waarheid en voorspelling.

def mse(y_true, y_pred):
    diffs = np.asarray(y_true) - np.asarray(y_pred)
    return float(np.mean(diffs ** 2))

Squaring straf groot foute harder en hou alles positief. Lae verlies is beter; nul verlies beteken 'n perfekte pas.

2. Gradient descent rol berg af

Verbeel die verlies as 'n heuelige oppervlak en die wegte as jou posisie daarop. Die gradient is die helling: dit wys bergop, na meer verlies. So om verlies te verminder, neem jy 'n klein stap in die opposite rigting.

w = w - learning_rate * gradient

Die learning rate is die stapgrootte. Herhaal dit duisende kere en die weights rol af na 'n lae-loss vallei. Daardie loop is alles wat training is.

Vir 'n speelmodel y = w * x met MSE, bereken die gradiënt van die verlies met betrekking tot w as mean(2 * (w*x - y) * x). Jy sal presies een stap neem en sien hoe die verlies daal.

Van een gewig tot 'n hele netwerk

Die twee-laag netwerk wat jy in die vorige les gebou het, het baie gewigte, nie net een nie. Om dit te train beteken om die gradiënt van die loss met betrekking tot elke every gewig te vind, laag vir laag. Dit is backpropagation: begin by die loss en pas die chain rule agterwerp deur elke laag toe om elke gewig se helling te kry, dan neem jy dieselfde heuwafpadstap op almal van hulle gelyktydig. Die rekenmetiek is swaarder, maar die idee is identies aan die enkelstap wat jy hieronder neem. In regte kode bereken jy dit nooit met die hand nie: frameworks soos PyTorch rekord die forward pass en een loss.backward() call bereken elke gradiënt vir jou. Ons doen die een-gewig weergawe hier sodat die meganisme konkreet bly.

Jou beurt

Implementeer mse(y_true, y_pred) (gemiddelde van gekwadraatte verskille). Bereken dan vir die speelmodel y = w * x die loss_before, neem een gradiënt-daal stap met grad = np.mean(2 * (w*x - y) * x) en w = w - lr * grad, en bereken dan loss_after. Die verlies moet daal.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.