Programme Leçon 131 sur 246 · Module 11 : Des réseaux qui ont de la mémoire (RNN)
Module 11 : Des réseaux qui ont de la mémoire (RNN)

Échantillonner du texte avec une température

Pourquoi c'est important Chaque chatbot a un réglage de « température ». C'est une seule division, et elle échange un texte sûr et répétitif contre un texte varié et plus risqué.

Pour choisir le caractère suivant, un modèle transforme ses scores en probabilités avec softmax. Diviser d'abord les scores par une température T change à quel point cette distribution est pointue : T en dessous de 1 l'affûte (le favori gagne plus souvent), T au-dessus de 1 l'aplatit (les surprises deviennent probables).

L'entropie, moins la somme de p log p, mesure à quel point une distribution est étalée : 0 quand un choix est certain, ln(n) quand les n sont également probables.

Tu vas la mesurer sur un vrai modèle enregistré : le minuscule GPT du cours entraîné sur son propre texte de leçons.

Mots et symboles de cette leçon
température
diviser les scores avant softmax : en dessous de 1 plus pointu, au-dessus de 1 plus plat
entropie
à quel point une distribution est étalée : 0 quand c'est certain, ln(n) quand les n choix sont égaux
À ton tour

Affecte à my_order les températures 0.5, 1.0 et 2.0 triées de l'entropie la plus basse à la plus haute (ta prédiction). Puis écris entropy_at(scores, T) pour une ligne de scores, et remplis measured avec l'entropie moyenne de la distribution du caractère suivant du modèle sur les contextes donnés, pour chaque température.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.