Planificación + protecciones del bucle
Un agente que puede actuar también puede actuar para siempre. La forma número uno en que un agente real quema dinero y despierta a un ingeniero de guardia es un bucle sin frenos: sigue llamando a la misma herramienta, obtiene la misma observación y nunca decide que ha terminado. Esta lección añade las dos cosas que hacen que un agente sea seguro de ejecutar de verdad: un pequeño planificador que divide un objetivo en subtareas ordenadas y una protección del bucle que detiene al agente antes de que se descontrole.
Primero, la planificación. decompose(goal) convierte un objetivo de una línea en una lista numerada de subtareas. Lo mantenemos determinista y basado en reglas (en producción lo hace el LLM, pero lo que importa es la forma): divide el objetivo por la palabra "then", quita los espacios de cada trozo y numéralos desde 1.
decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]Ahora la protección. run_with_guard(policy, state, max_steps) mueve una política paso a paso, pero se niega a desbocarse. Aquí una política es una función policy(state) -> action (una cadena que nombra la acción que quiere hacer); aplicar una acción simplemente la añade a una lista de historial. La protección para por una de tres razones e indica cuál:
- terminado: la política devuelve la acción
"done"-> para con el motivo"done". - sin progreso: la política devuelve la misma acción dos veces seguidas -> para con el motivo
"repeat". Es la señal clásica de estar atascado en un bucle: el agente no aprende de sus observaciones. - presupuesto: llega a
max_stepssin terminar -> para con el motivo"max_steps".
def run_with_guard(policy, state, max_steps):
history = []
for _ in range(max_steps):
action = policy(state)
if action == "done":
return {"history": history, "reason": "done"}
if history and action == history[-1]:
return {"history": history, "reason": "repeat"}
history.append(action)
# let the policy advance its own state here
...
return {"history": history, "reason": "max_steps"}Devuelve un dict {"history": [...], "reason": ...}. La comprobación "repeat" es la que te salva: una política con fallos o confundida que emite "search" para siempre se detiene en la segunda acción idéntica, con un motivo que puedes registrar y sobre el que puedes alertar. Una política que se porta bien, avanza y luego dice "done" termina limpiamente dentro de su presupuesto. El evaluador comprueba que una política en bucle para con "repeat", que una desbocada llega a "max_steps" y que una buena termina con "done", además de que decompose numera correctamente. Pulsa Ejecutar para ver los tres resultados.
Escribe decompose(goal): divide goal por " then ", quita los espacios de cada parte y devuélvelas como "1. part", "2. part", ... Luego escribe run_with_guard(policy, state, max_steps), donde policy(state) devuelve una cadena de acción. Mueve la política hasta max_steps veces y devuelve {"history": [...], "reason": ...}: para con el motivo "done" cuando la acción sea "done"; para con el motivo "repeat" cuando una acción sea igual a la inmediatamente anterior (sin progreso); para con el motivo "max_steps" si se agota el presupuesto. Añade a history cada acción aceptada.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.