Programma Lezione 103 di 250 · Intuizione sulle reti neurali, LLM e progetto finale di IA
Intuizione sulle reti neurali, LLM e progetto finale di IA

Guarda: la retropropagazione e la regola della catena

La discesa del gradiente ha bisogno di una cosa: il gradiente della perdita rispetto a ogni input e ogni peso. La retropropagazione è il modo per ottenerlo, ed è solo la regola della catena applicata a un grafo di operazioni.

Premi play. Spingi un valore in avanti attraverso un piccolo grafo (x -> raddoppia -> eleva al quadrato -> L), poi guarda il gradiente scorrere all'indietro, moltiplicandosi per il gradiente locale di ogni passo. Una volta visto, il motore autograd che costruirai dopo non è più magia.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.