Programme Leçon 233 sur 250 · Projet : agent de recherche qui utilise des outils
Projet : agent de recherche qui utilise des outils

Évalue la trace de l'agent

La dernière pièce du projet est celle qu'on saute le plus souvent et qui compte le plus sur un CV : l'évaluation. N'importe qui peut brancher un agent qui marche dans une démo. L'ingénieur qu'on embauche est celui qui peut prouver que ça marche, repérer quand l'agent fait la mauvaise chose sans bruit, et échouer proprement quand il ne peut pas répondre. Tu vas noter la trace qu'a produite ton agent et ajouter une solution de repli pour quand il abandonne.

Rappelle-toi la trace de la leçon 2 : une liste ordonnée de tuples (thought, tool, args, observation). Pour noter une exécution, tu compares ce que l'agent a vraiment fait avec ce qu'il était censé faire.

Écris score_run(trace, expected_tools, expected_answer) qui renvoie un dict à trois champs :

  • "tools_ok" : l'agent a-t-il utilisé les bons outils dans le bon ordre ? Extrais le nom de l'outil de chaque étape et compare la séquence à expected_tools. Un outil faux ou manquant met ce champ à False. C'est ainsi que tu repères un agent qui est arrivé à la bonne réponse par le mauvais chemin (ce qui cassera à l'entrée suivante).
  • "answer_ok" : la dernière étape a-t-elle produit la bonne réponse ? La réponse finale est l'observation de la dernière étape. Compare-la à expected_answer. Une exécution qui n'a jamais produit de réponse (trace vide) donne answer_ok = False.
  • "steps" : combien d'étapes l'exécution a pris (len(trace)) -> ton signal de coût et de latence.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Ensuite, le filet de sécurité. answer_or_fallback(trace) tourne sur les vraies requêtes, où personne ne connaît la bonne réponse, donc elle ne peut pas comparer avec une réponse (c'est ce que fait score_run hors ligne, sur ton jeu de test). Elle ne fait confiance à une exécution que quand la dernière étape est une étape finish avec une vraie réponse, et sinon renvoie la chaîne fixe "unable to answer" : une exécution qui a atteint sa limite d'étapes, qui s'est arrêtée sur une recherche ou qui a fini sur "not found". En production, c'est ce que tu renvoies à l'utilisateur au lieu d'une hallucination ou d'une trace d'erreur.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

Le correcteur fournit une exécution correcte (tout à True), une exécution qui a utilisé le mauvais outil (tools_ok vaut False mais la réponse peut quand même correspondre) et une exécution sans réponse (answer_ok vaut False), plus des traces aléatoires comparées à une référence intégrée pour qu'aucun correcteur constant ne passe. Mets tout au vert et la ligne de CV s'écrit toute seule : j'ai construit un agent ReAct qui utilise des outils, avec garde-fous de boucle et évaluation de trace. Appuie sur Run.

À ton tour

Écris score_run(trace, expected_tools, expected_answer) sur une trace de tuples (thought, tool, args, observation), qui renvoie {"tools_ok", "answer_ok", "steps"} : tools_ok indique si la séquence des noms d'outils est égale à expected_tools ; answer_ok indique si l'observation de la dernière étape est égale à expected_answer (False pour une trace vide) ; steps vaut len(trace). Puis écris answer_or_fallback(trace), la vérification que tu exécutes sur une vraie requête, où aucune réponse attendue n'existe : renvoie l'observation finale seulement quand la dernière étape est une étape "finish" et que son observation n'est ni None ni "not found" ; sinon renvoie la chaîne "unable to answer". (score_run sert à ton jeu de test hors ligne, où tu connais les réponses ; answer_or_fallback sert en production, où tu ne les connais pas.)

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.