Programma Lezione 106 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

Addestra un modello con il tuo motore

Hai costruito il motore autograd. Ora usalo per imparare davvero, il ciclo che addestra ogni rete neurale. La classe Value è data (ora avvolge anche i numeri semplici, quindi w * x funziona quando x è un float). Il tuo compito è il ciclo di addestramento.

Adatta un singolo peso w in modo che w * x preveda y. Un passo di discesa del gradiente è sempre fatto delle stesse mosse:

w = Value(0.0)
for step in range(steps):
    loss = Value(0.0)
    for x, y in zip(xs, ys):
        diff = w * x + (-y)          # prediction minus target
        loss = loss + diff * diff    # squared error, summed
    w.grad = 0.0                     # 1) reset the gradient
    loss.backward()                  # 2) backprop to fill w.grad
    w.data -= lr * w.grad            # 3) step downhill

Due errori facili: azzera il gradiente prima di ogni backward() altrimenti i vecchi gradienti si accumulano (backward usa +=); e sottrai lr * w.grad per scendere, non sommarlo. Con abbastanza passi w scivola verso il valore che minimizza la perdita, la retta che si adatta meglio.

Scrivi fit(xs, ys, steps, lr) partendo da w = Value(0.0), e restituisci il w.data finale. Premi Run per guardarlo imparare y = 2x.

Tocca a te

Scrivi fit(xs, ys, steps, lr) che adatta un peso w (parti da Value(0.0)) con la discesa del gradiente in modo che w * x preveda y. A ogni passo: costruisci loss come somma degli errori quadratici con operazioni di Value, assegna w.grad = 0.0, loss.backward(), poi w.data -= lr * w.grad. Restituisci il w.data finale. La classe Value è fornita.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.