Programme Leçon 126 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Un RNN de caractères

Pourquoi c'est important Prédire le caractère suivant à partir de ceux d'avant, c'est le modèle de langage d'origine. La même idée, en plus grand, c'est un chatbot.

Donne au réseau le propre texte des leçons du cours, un caractère à la fois. À chaque pas, le RNN met à jour son état et prédit le caractère suivant avec une couche linéaire et un softmax. La perte est l'entropie croisée moyenne sur les 16 positions de chaque extrait d'entraînement.

Chaque caractère entre sous forme d'embedding : une ligne de nombres apprise, cherchée par l'index du caractère (le module 12 les explique correctement ; pour l'instant, une table de correspondance que le réseau entraîne).

Prédis la courbe avec le graphique : devine la perte au pas 0 et après 200 pas. Une supposition uniforme sur tous les caractères du texte donne environ ln(V).

Mots et symboles de cette leçon
réseau récurrent (RNN)
un réseau qui lit un pas à la fois et transporte un état caché vers l'avant
entropie
à quel point une distribution est étalée : 0 quand c'est certain, ln(n) quand les n choix sont égaux
À ton tour

Remplis my_guess. Puis écris step_state(x_ids, h, P) avec le moteur du cours : tanh(embed(P["emb"], x_ids) + h @ P["Wh"] + P["bh"]). La boucle d'entraînement autour est écrite pour toi. Après 200 pas, la perte moyenne sur les 20 derniers pas doit être inférieure à 2.6.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.