Programme Leçon 162 sur 246 · Module 14 : Clinique des entraînements II
Module 14 : Clinique des entraînements II

Clinique : un bon modèle qui écrit mal

Pourquoi c'est important Un modèle entraîné peut quand même produire n'importe quoi si le code autour est faux. Ces pannes vivent dans le code d'échantillonnage, pas dans les poids, et les gens réentraînent pendant des jours avant de regarder là.

Chaque cas ci-dessous utilise le même modèle enregistré de largeur 64, qui écrit un texte raisonnable à une température de 0.8. Chaque cas a une panne dans la façon dont le texte est échantillonné ou décodé :

  • too_cold : une température proche de 0. Le modèle prend toujours son caractère suivant favori et tombe dans une boucle.
  • too_hot : une température bien au-dessus de 1. La distribution est aplatie jusqu'à ce que les symboles rares sortent aussi souvent que les lettres.
  • shifted_decode : les ids sont retransformés en caractères avec l'alphabet décalé de un, donc un échantillon correct se lit comme un code : chaque espace devient « ! ».

Sondes : sample(c) montre le texte ; repeat_share(text) et space_share(text) le mesurent.

À ton tour

Remplis diagnosis et fixes pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre au réglage sain, et l'échantillon doit de nouveau se lire comme du texte.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.