Examen de passage : un RNN cassé avec deux pannes (IA éteinte)
Pourquoi c'est important Trouver deux pannes à la fois, sans aide, c'est ce à quoi les cliniques t'ont entraîné.
Tuteur IA éteint. Ce RNN de caractères a deux pannes. L'une empêche la perte de descendre bien bas, même si chaque perte reste un nombre fini (rien n'explose). L'autre fait que le réseau n'utilise jamais vraiment ce qu'il a lu plus tôt dans l'extrait. Trouve et corrige les deux.
Mots et symboles de cette leçon
- réseau récurrent (RNN)
- un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
- entropie
- à quel point une distribution est étalée : 0 quand c'est certain, ln(n) quand les n choix sont égaux
Corrige init et run_snippet. Après 200 pas, la perte moyenne sur les 20 derniers pas doit être inférieure à 2.45, chaque perte doit être un nombre fini, et le premier caractère d'un extrait doit encore influencer la dernière prédiction.
IA désactivée : pas de tuteur, d'indices ou de solution détaillée pour celui-ci. Ta propre réflexion uniquement.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.