Programme Leçon 85 sur 246 · Module 6 : Poids de départ et normalisation
Module 6 : Poids de départ et normalisation

Examen de passage : faire s'entraîner un réseau profond inentraînable (IA éteinte)

Pourquoi c'est important Réparer un réseau profond qui refuse d'apprendre est un des vrais travaux les plus courants de ce domaine. Ici, tu le fais seul.

Tuteur IA éteint. Le réseau de 30 couches ci-dessous ne sort jamais du pile ou face. Tu peux changer la façon dont il démarre et dont ses blocs sont câblés, avec n'importe quoi de ce module, mais garde 30 couches cachées de largeur 16 et 300 pas de SGD simple.

Mots et symboles de cette leçon
Xavier, LeCun, He
dispersions de départ sqrt(2 / (entrées + sorties)) ou 1 / sqrt(entrées) pour tanh, et sqrt(2 / entrées) pour ReLU
À ton tour

Modifie build(rng) et forward(params, X) pour que l'entraînement atteigne au moins 90 % de justesse d'entraînement sur les lunes.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.