Programme Leçon 133 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Examen de passage : un RNN cassé avec deux pannes (IA éteinte)

Pourquoi c'est important Trouver deux pannes à la fois, sans aide, c'est ce à quoi les cliniques t'ont entraîné.

Tuteur IA éteint. Ce RNN de caractères a deux pannes. L'une empêche la perte de descendre bien bas, même si chaque perte reste un nombre fini (rien n'explose). L'autre fait que le réseau n'utilise jamais vraiment ce qu'il a lu plus tôt dans l'extrait. Trouve et corrige les deux.

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
entropie
à quel point une distribution est étalée : 0 quand c'est certain, ln(n) quand les n choix sont égaux
À ton tour

Corrige init et run_snippet. Après 200 pas, la perte moyenne sur les 20 derniers pas doit être inférieure à 2.45, chaque perte doit être un nombre fini, et le premier caractère d'un extrait doit encore influencer la dernière prédiction.

IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.