Auto-cohérence : échantillonner, lire, voter
Un seul échantillon du modèle peut se tromper par malchance. L'auto-cohérence (self-consistency) prend plusieurs échantillons pour la même question, extrait une réponse de chacun, et les laisse voter. La réponse majoritaire est en général plus fiable que n'importe quel passage seul. L'échantillonnage est le travail du modèle ; la lecture et le vote sont les tiens, et ils sont entièrement déterministes.
Construis deux fonctions :
extract_answer(text)renvoie le DERNIER entier mentionné dans le texte (le nombre final du modèle après son raisonnement), ouNones'il n'y a pas d'entier. Trouve les entiers avec une regex sur la chaîne.self_consistency(samples)prend une liste de chaînes d'échantillons, extrait une réponse de chacune, jette celles qui ont donnéNone, et renvoie la valeur majoritaire via unCounter. Départage les égalités vers la valeur la plus petite pour que le résultat soit déterministe.
Par exemple, avec des échantillons qui donnent [4, 4, 5], le vote renvoie 4. Avec [3, 5] (une égalité 1-1), il renvoie 3, le plus petit. Les échantillons illisibles sont simplement ignorés :
self_consistency(["... so 4", "answer 4", "I think 5"]) # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"]) # 9Le départage déterministe compte : une évaluation qui renvoie un gagnant différent à chaque passage en cas d'égalité est impossible à tester et à livrer. Appuie sur Run pour la notation.
Écris extract_answer(text) qui renvoie le dernier entier du texte (gère un signe moins au début), ou None s'il n'y en a pas. Écris self_consistency(samples) qui extrait une réponse de chaque échantillon, jette les résultats None, et renvoie la valeur majoritaire avec un Counter, en départageant les égalités vers la plus petite valeur. Sans réponse lisible, renvoie None.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.