Lehrplan Lektion 141 von 250 · Strukturierte Ausgaben & Funktions-/Tool-Aufrufe
Strukturierte Ausgaben & Funktions-/Tool-Aufrufe

Tool-Dispatcher / Router

Das Modell hat deine Tool-Schemas gelesen und mit einem Tool-Call geantwortet: ein geparstes Objekt wie {"name": "add", "arguments": {"a": 4, "b": 5}}. Jetzt muss dein Programm tatsächlich run die richtige Funktion ausführen. Das ist der Job eines dispatcher (oder Routers): suche das benannte Tool auf, prüfe ob die Argumente genau das sind was die Funktion erwartet, rufe es auf und gib das Ergebnis zurück. Das ist die Stelle wo die Worte eines LLM zu einem echten Seiteneffekt in deinem System werden, also ist es auch die Stelle wo du streng sein musst.

In einer echten Schleife sitzt es direkt nach dem Parsen der Antwort des Modells:

call = parse_tool_call(model_reply)        # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY)     # runs the matching Python function
# feed result back to the model as the tool's observation

Du baust dispatch(call, registry), wo registry Toolnamen Python-Funktionen zuordnet. Es muss:

  • Lies call["name"] und call["arguments"] (Standardargumente für {}).
  • Lehne ein unbekanntes Tool ab. Wenn der Name nicht in der Registry ist, wirf eine ValueError -> mache niemals still nichts und führe niemals ein Tool aus, das das Modell halluziniert hat.
  • Überprüfe die Argumente. Verwende inspect.signature um die Parameternamen der Funktion zu erhalten und zu bestätigen dass die bereitgestellten Argument-Keys exakt übereinstimmen -> ein fehlendes Argument oder ein unerwartetes zusätzliches Argument muss einen Fehler auslösen.
  • Aufrufen und zurückgeben. Rufe die Funktion mit func(**arguments) auf und gib ihr Ergebnis zurück.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
    raise ValueError("bad arguments")
return func(**arguments)

Warum so streng bei den Argumenten? Ein Tool-Aufruf, der mit den falschen Argumenten läuft, stürzt entweder tief in deiner Funktion ab oder, was schlimmer ist, macht still die falsche Sache. Ein lautes Versagen an der Grenze ist der ganze Punkt. Baue es so, dass zwei verschiedene Tools (zum Beispiel ein Rechner und eine Suche) jeweils ihr eigenes Ergebnis zurückgeben, ein unbekanntes Tool einen Fehler wirft, und sowohl ein fehlendes als auch ein zusätzliches Argument einen Fehler wirft.

Du bist dran

Schreibe dispatch(call, registry), wo call ist {"name": ..., "arguments": {...}} und registry Namen auf Funktionen abbildet. Wirf einen Fehler bei einem unbekannten Toolnamen. Nutze inspect.signature, um zu bestätigen, dass jeder erforderliche required Parameter vorhanden ist und keine unerwarteten Extras da sind (ein Parameter mit einem Standardwert ist optional, also ist das Weglassen in Ordnung). inspect.signature(func).parameters bildet jeden Namen auf ein Parameterobjekt p ab; p.default is inspect.Parameter.empty ist genau dann True, wenn der Parameter keinen Standardwert hat, also erforderlich ist, dann rufe func(**arguments) auf und gib das Ergebnis zurück. Zwei verschiedene Tools müssen jeweils ihr eigenes Ergebnis zurückgeben.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.