Evalúa la traza del agente
La última pieza del proyecto es la que más se salta y la que más importa en un currículum: la evaluación. Cualquiera puede montar un agente que funciona en una demo. A quien contratan es a quien puede demostrar que funciona, detectar cuándo hace en silencio lo incorrecto y fallar con elegancia cuando no puede responder. Vas a puntuar la traza que produjo tu agente y a añadir un respaldo para cuando se rinda.
Recuerda la traza de la lección 2: una lista ordenada de tuplas (thought, tool, args, observation). Para evaluar una ejecución comparas lo que el agente hizo de verdad con lo que se suponía que debía hacer.
Escribe score_run(trace, expected_tools, expected_answer), que devuelva un dict con tres campos:
"tools_ok": ¿usó el agente las herramientas correctas en el orden correcto? Saca el nombre de la herramienta de cada paso y compara la secuencia conexpected_tools. Una herramienta equivocada o que falta lo pone enFalse. Así detectas un agente que llegó a la respuesta correcta por el camino equivocado (lo que fallará con la siguiente entrada)."answer_ok": ¿produjo el último paso la respuesta correcta? La respuesta final es la observación del último paso. Compárala conexpected_answer. Una ejecución que nunca produjo una respuesta (traza vacía) daanswer_ok = False."steps": cuántos pasos llevó la ejecución (len(trace)) -> tu señal de coste y latencia.
def score_run(trace, expected_tools, expected_answer):
tools_used = [tool for (_thought, tool, _args, _obs) in trace]
final = trace[-1][3] if trace else None
return {
"tools_ok": tools_used == list(expected_tools),
"answer_ok": bool(trace) and final == expected_answer,
"steps": len(trace),
}Y luego la red de seguridad. answer_or_fallback(trace) se ejecuta con peticiones en vivo, donde nadie conoce la respuesta correcta, así que no puede compararse con una (eso es lo que hace score_run sin conexión, con tu conjunto de pruebas). Solo se fía de una ejecución cuando el último paso es un paso finish con una respuesta real, y en otro caso devuelve la cadena fija "unable to answer": una ejecución que llegó a su límite de pasos, que se detuvo en una búsqueda o que terminó en "not found". En producción, esto es lo que devuelves al usuario en lugar de una alucinación o de una traza de error.
def answer_or_fallback(trace):
# At serving time there is no expected answer to compare with. Trust a run
# only if it ended with a finish step carrying a real answer.
if not trace:
return "unable to answer"
_thought, tool, _args, observation = trace[-1]
if tool != "finish" or observation in (None, "not found"):
return "unable to answer"
return observationEl evaluador le da una ejecución correcta (todo True), una que usó la herramienta equivocada (tools_ok es False pero la respuesta puede seguir coincidiendo) y una sin respuesta (answer_ok es False), además de trazas aleatorias comparadas con una referencia para que no se cuele ningún puntuador constante. Ponlo en verde y el titular se escribe solo: construí un agente ReAct que usa herramientas, con protecciones del bucle y evaluación de trazas. Pulsa Ejecutar.
Escribe score_run(trace, expected_tools, expected_answer) sobre una traza de tuplas (thought, tool, args, observation), que devuelva {"tools_ok", "answer_ok", "steps"}: tools_ok es si la secuencia de nombres de herramienta es igual a expected_tools; answer_ok es si la observación del último paso es igual a expected_answer (False con una traza vacía); steps es len(trace). Luego escribe answer_or_fallback(trace), la comprobación que ejecutas con una petición en vivo, donde no existe una respuesta esperada: devuelve la observación final solo cuando el último paso sea un paso "finish" y su observación no sea ni None ni "not found"; si no, devuelve la cadena "unable to answer". (score_run es para tu conjunto de pruebas sin conexión, donde conoces las respuestas; answer_or_fallback es para producción, donde no las conoces.)
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.