Temario Lección 233 de 250 · Proyecto: agente de investigación que usa herramientas
Proyecto: agente de investigación que usa herramientas

Evalúa la traza del agente

La última pieza del proyecto es la que más se salta y la que más importa en un currículum: la evaluación. Cualquiera puede montar un agente que funciona en una demo. A quien contratan es a quien puede demostrar que funciona, detectar cuándo hace en silencio lo incorrecto y fallar con elegancia cuando no puede responder. Vas a puntuar la traza que produjo tu agente y a añadir un respaldo para cuando se rinda.

Recuerda la traza de la lección 2: una lista ordenada de tuplas (thought, tool, args, observation). Para evaluar una ejecución comparas lo que el agente hizo de verdad con lo que se suponía que debía hacer.

Escribe score_run(trace, expected_tools, expected_answer), que devuelva un dict con tres campos:

  • "tools_ok": ¿usó el agente las herramientas correctas en el orden correcto? Saca el nombre de la herramienta de cada paso y compara la secuencia con expected_tools. Una herramienta equivocada o que falta lo pone en False. Así detectas un agente que llegó a la respuesta correcta por el camino equivocado (lo que fallará con la siguiente entrada).
  • "answer_ok": ¿produjo el último paso la respuesta correcta? La respuesta final es la observación del último paso. Compárala con expected_answer. Una ejecución que nunca produjo una respuesta (traza vacía) da answer_ok = False.
  • "steps": cuántos pasos llevó la ejecución (len(trace)) -> tu señal de coste y latencia.
def score_run(trace, expected_tools, expected_answer):
    tools_used = [tool for (_thought, tool, _args, _obs) in trace]
    final = trace[-1][3] if trace else None
    return {
        "tools_ok": tools_used == list(expected_tools),
        "answer_ok": bool(trace) and final == expected_answer,
        "steps": len(trace),
    }

Y luego la red de seguridad. answer_or_fallback(trace) se ejecuta con peticiones en vivo, donde nadie conoce la respuesta correcta, así que no puede compararse con una (eso es lo que hace score_run sin conexión, con tu conjunto de pruebas). Solo se fía de una ejecución cuando el último paso es un paso finish con una respuesta real, y en otro caso devuelve la cadena fija "unable to answer": una ejecución que llegó a su límite de pasos, que se detuvo en una búsqueda o que terminó en "not found". En producción, esto es lo que devuelves al usuario en lugar de una alucinación o de una traza de error.

def answer_or_fallback(trace):
    # At serving time there is no expected answer to compare with. Trust a run
    # only if it ended with a finish step carrying a real answer.
    if not trace:
        return "unable to answer"
    _thought, tool, _args, observation = trace[-1]
    if tool != "finish" or observation in (None, "not found"):
        return "unable to answer"
    return observation

El evaluador le da una ejecución correcta (todo True), una que usó la herramienta equivocada (tools_ok es False pero la respuesta puede seguir coincidiendo) y una sin respuesta (answer_ok es False), además de trazas aleatorias comparadas con una referencia para que no se cuele ningún puntuador constante. Ponlo en verde y el titular se escribe solo: construí un agente ReAct que usa herramientas, con protecciones del bucle y evaluación de trazas. Pulsa Ejecutar.

Tu turno

Escribe score_run(trace, expected_tools, expected_answer) sobre una traza de tuplas (thought, tool, args, observation), que devuelva {"tools_ok", "answer_ok", "steps"}: tools_ok es si la secuencia de nombres de herramienta es igual a expected_tools; answer_ok es si la observación del último paso es igual a expected_answer (False con una traza vacía); steps es len(trace). Luego escribe answer_or_fallback(trace), la comprobación que ejecutas con una petición en vivo, donde no existe una respuesta esperada: devuelve la observación final solo cuando el último paso sea un paso "finish" y su observación no sea ni None ni "not found"; si no, devuelve la cadena "unable to answer". (score_run es para tu conjunto de pruebas sin conexión, donde conoces las respuestas; answer_or_fallback es para producción, donde no las conoces.)

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.