Lehrplan Lektion 232 von 250 · Projekt: Tool-Using Research Agent
Projekt: Tool-Using Research Agent

Planung + Schleifen-Schutz

Ein Agent, der handeln kann, kann auch endlos handeln. Der häufigste Weg, wie ein echter Agent Geld verbrennt und eine Bereitschaftsingenieurin weckt, ist eine Schleife ohne Bremsen: Er ruft immer wieder dasselbe Tool auf, bekommt dieselbe Beobachtung und entscheidet nie, dass er fertig ist. Diese Lektion fügt die zwei Dinge hinzu, die einen Agenten sicher lauffähig machen: einen winzigen Planer, der ein Ziel in geordnete Teilaufgaben zerlegt, und einen Schleifenwächter, der den Agenten anhält, bevor er durchdreht.

Zuerst das Planen. decompose(goal) macht aus einem einzeiligen Ziel eine nummerierte Liste von Teilaufgaben. Wir halten es deterministisch und regelbasiert (in Produktion macht das das LLM, aber die Form zählt): Teil das Ziel am Wort "then", entferne bei jedem Stück die Leerzeichen am Rand und nummeriere sie ab 1.

decompose("find the team size then multiply by 2 then report")
# ["1. find the team size", "2. multiply by 2", "3. report"]

Jetzt der Wächter. run_with_guard(policy, state, max_steps) treibt eine Policy Schritt für Schritt an, aber er weigert sich durchzubrennen. Eine Policy ist hier eine Funktion policy(state) -> action (ein String, der die Aktion nennt, die sie ausführen will); eine Aktion anzuwenden hängt sie nur an eine Verlaufsliste an. Der Wächter hält aus einem von drei Gründen an und meldet, welcher es war:

  • fertig: Die Policy gibt die Aktion "done" zurück -> anhalten mit Grund "done".
  • kein Fortschritt: Die Policy gibt zweimal hintereinander dieselbe Aktion zurück -> anhalten mit Grund "repeat". Das ist das klassische Signal für eine festgefahrene Schleife: Der Agent lernt nicht aus seinen Beobachtungen.
  • Budget: Er erreicht max_steps, ohne fertig zu werden -> anhalten mit Grund "max_steps".
def run_with_guard(policy, state, max_steps):
    history = []
    for _ in range(max_steps):
        action = policy(state)
        if action == "done":
            return {"history": history, "reason": "done"}
        if history and action == history[-1]:
            return {"history": history, "reason": "repeat"}
        history.append(action)
        # let the policy advance its own state here
        ...
    return {"history": history, "reason": "max_steps"}

Gib ein Dict {"history": [...], "reason": ...} zurück. Die Prüfung auf "repeat" rettet dich: Eine fehlerhafte oder verwirrte Policy, die endlos "search" ausgibt, wird bei der zweiten identischen Aktion gestoppt, mit einem Grund, den du protokollieren und melden kannst. Eine brave Policy, die vorankommt und dann "done" sagt, endet sauber innerhalb ihres Budgets. Der Prüfer kontrolliert, dass eine Schleifen-Policy mit "repeat" anhält, eine durchgehende Policy auf "max_steps" stößt und eine gute Policy mit "done" endet, und dass decompose richtig nummeriert. Drück auf Run, um alle drei Ergebnisse zu sehen.

Du bist dran

Schreibe decompose(goal): split goal auf " then ", strip jeden Teil und gib sie als "1. part", "2. part", ... zurück. Schreibe dann run_with_guard(policy, state, max_steps), wo policy(state) einen action string zurückgibt. Führe die policy bis zu max_steps Mal aus und gib {"history": [...], "reason": ...} zurück: stop mit Grund "done", wenn die action "done" ist; stop mit Grund "repeat", wenn eine action der unmittelbar vorherigen entspricht (no-progress); stop mit Grund "max_steps", wenn das Budget ausgeht. Füge jede akzeptierte action zu history hinzu.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.