Clinique : un bon modèle qui écrit mal
Pourquoi c'est important Un modèle entraîné peut quand même produire n'importe quoi si le code autour est faux. Ces pannes vivent dans le code d'échantillonnage, pas dans les poids, et les gens réentraînent pendant des jours avant de regarder là.
Chaque cas ci-dessous utilise le même modèle enregistré de largeur 64, qui écrit un texte raisonnable à une température de 0.8. Chaque cas a une panne dans la façon dont le texte est échantillonné ou décodé :
- too_cold : une température proche de 0. Le modèle prend toujours son caractère suivant favori et tombe dans une boucle.
- too_hot : une température bien au-dessus de 1. La distribution est aplatie jusqu'à ce que les symboles rares sortent aussi souvent que les lettres.
- shifted_decode : les ids sont retransformés en caractères avec l'alphabet décalé de un, donc un échantillon correct se lit comme un code : chaque espace devient « ! ».
Sondes : sample(c) montre le texte ; repeat_share(text) et space_share(text) le mesurent.
Remplis diagnosis et fixes pour les cas A, B et C. Après ta correction, chaque réglage doit correspondre au réglage sain, et l'échantillon doit de nouveau se lire comme du texte.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.