Programma Lezione 85 di 246 · Modulo 6: Pesi iniziali e normalizzazione
Modulo 6: Pesi iniziali e normalizzazione

Cancello: fai addestrare una rete profonda che non si addestra (IA spenta)

Perché è importante Sistemare una rete profonda che non vuole imparare è uno dei lavori reali più comuni in questo campo. Qui lo fai da solo.

Tutor IA spento. La rete da 30 layer qui sotto non esce mai da testa o croce. Puoi cambiare come viene fatta partire e come sono collegati i suoi blocchi, usando qualsiasi cosa di questo modulo, ma tieni 30 layer nascosti di larghezza 16 e 300 passi di SGD semplice.

Parole e simboli di questa lezione
Xavier, LeCun, He
dispersioni iniziali sqrt(2 / (input + output)) o 1 / sqrt(input) per tanh, e sqrt(2 / input) per ReLU
Tocca a te

Modifica build(rng) e forward(params, X) in modo che l'addestramento raggiunga almeno il 90% di accuratezza di addestramento sulle lune.

IA spenta: niente tutor, suggerimenti o soluzione svolta per questo. Solo il tuo ragionamento.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.