Programme Leçon 133 sur 250 · L'art du prompt pour les ingénieurs IA
L'art du prompt pour les ingénieurs IA

Délimiteurs, ancrage et lutte contre les hallucinations

Le moyen le plus efficace d'empêcher un modèle d'inventer, c'est l'ancrage (grounding) : donne-lui le matériau source, entoure-le de délimiteurs clairs, et demande-lui de répondre seulement à partir de ce matériau, avec une porte de sortie explicite quand la réponse n'y est pas. C'est le cœur de tout système de génération augmentée par la recherche (RAG), et c'est entièrement de la construction de prompt.

Construis grounded_prompt(question, context_chunks) qui assemble :

  • Une section CONTEXT: avec chaque morceau numéroté et délimité, comme [1] ..., [2] ....
  • La question après le contexte.
  • Une instruction exacte de ne répondre qu'à partir du contexte, qui finit par la porte de sortie : si la réponse n'est pas dans le contexte, réponds exactement I don't know.
  • Un tour de réponse ouvert à la fin pour que le modèle sache qu'il doit répondre.

Puis construis le vérificateur. check_grounded(answer, context_chunks) renvoie True quand la réponse est ancrée : soit c'est exactement la sentinelle I don't know., SOIT chaque mot significatif de la réponse apparaît dans le contexte assemblé. Elle renvoie False quand la réponse contient des mots inventés que le contexte n'a jamais mentionnés.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

Ignore les petits mots vides (the, is, a, of...) en vérifiant les mots significatifs, pour qu'une formulation normale ne soit pas punie, mais qu'un mot de contenu comme Berlin absent du contexte fasse bien échouer la vérification. Appuie sur Run pour la notation.

Sois honnête sur ce que ça attrape : la vérification d'inclusion repère les tokens inventés (des mots que le contexte n'a jamais mentionnés), mais elle ne peut pas attraper une fausse affirmation recomposée à partir de vrais mots du contexte. "Refunds take France business days" passerait ici alors que ça n'a aucun sens, car chaque mot est dans le contexte. Une vraie vérification de fidélité demande un LLM juge ou un modèle d'inférence (NLI) qui raisonne sur le sens, pas seulement sur la présence des mots.

À ton tour

Écris grounded_prompt(question, context_chunks) qui numérote et délimite les morceaux sous CONTEXT:, ajoute la question, exige une réponse tirée seulement du contexte avec la porte de sortie exacte I don't know., et finit sur un tour de réponse ouvert. Disposition exacte, lignes reliées par "\n" : CONTEXT:, puis une ligne par morceau écrite [1] chunk text, [2] ..., une ligne vide, Question: ..., la ligne d'instruction (elle doit contenir I don't know.), et enfin le tour de réponse ouvert [assistant]. Écris check_grounded(answer, context_chunks) qui renvoie True pour la sentinelle OU quand chaque mot significatif (pas un mot vide) de la réponse est dans le contexte assemblé, sinon False.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.