Programme Leçon 129 sur 250 · L'art du prompt pour les ingénieurs IA
L'art du prompt pour les ingénieurs IA

Auto-cohérence : échantillonner, lire, voter

Un seul échantillon du modèle peut se tromper par malchance. L'auto-cohérence (self-consistency) prend plusieurs échantillons pour la même question, extrait une réponse de chacun, et les laisse voter. La réponse majoritaire est en général plus fiable que n'importe quel passage seul. L'échantillonnage est le travail du modèle ; la lecture et le vote sont les tiens, et ils sont entièrement déterministes.

Construis deux fonctions :

  • extract_answer(text) renvoie le DERNIER entier mentionné dans le texte (le nombre final du modèle après son raisonnement), ou None s'il n'y a pas d'entier. Trouve les entiers avec une regex sur la chaîne.
  • self_consistency(samples) prend une liste de chaînes d'échantillons, extrait une réponse de chacune, jette celles qui ont donné None, et renvoie la valeur majoritaire via un Counter. Départage les égalités vers la valeur la plus petite pour que le résultat soit déterministe.

Par exemple, avec des échantillons qui donnent [4, 4, 5], le vote renvoie 4. Avec [3, 5] (une égalité 1-1), il renvoie 3, le plus petit. Les échantillons illisibles sont simplement ignorés :

self_consistency(["... so 4", "answer 4", "I think 5"])  # 4
self_consistency(["hmm no number", "= 9", "= 9", "= 2"])     # 9

Le départage déterministe compte : une évaluation qui renvoie un gagnant différent à chaque passage en cas d'égalité est impossible à tester et à livrer. Appuie sur Run pour la notation.

À ton tour

Écris extract_answer(text) qui renvoie le dernier entier du texte (gère un signe moins au début), ou None s'il n'y en a pas. Écris self_consistency(samples) qui extrait une réponse de chaque échantillon, jette les résultats None, et renvoie la valeur majoritaire avec un Counter, en départageant les égalités vers la plus petite valeur. Sans réponse lisible, renvoie None.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.