Tool-Dispatcher / Router
Das Modell hat deine Tool-Schemas gelesen und mit einem Tool-Call geantwortet: ein geparstes Objekt wie {"name": "add", "arguments": {"a": 4, "b": 5}}. Jetzt muss dein Programm tatsächlich run die richtige Funktion ausführen. Das ist der Job eines dispatcher (oder Routers): suche das benannte Tool auf, prüfe ob die Argumente genau das sind was die Funktion erwartet, rufe es auf und gib das Ergebnis zurück. Das ist die Stelle wo die Worte eines LLM zu einem echten Seiteneffekt in deinem System werden, also ist es auch die Stelle wo du streng sein musst.
In einer echten Schleife sitzt es direkt nach dem Parsen der Antwort des Modells:
call = parse_tool_call(model_reply) # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY) # runs the matching Python function
# feed result back to the model as the tool's observationDu baust dispatch(call, registry), wo registry Toolnamen Python-Funktionen zuordnet. Es muss:
- Lies
call["name"]undcall["arguments"](Standardargumente für{}). - Lehne ein unbekanntes Tool ab. Wenn der Name nicht in der Registry ist, wirf eine
ValueError-> mache niemals still nichts und führe niemals ein Tool aus, das das Modell halluziniert hat. - Überprüfe die Argumente. Verwende
inspect.signatureum die Parameternamen der Funktion zu erhalten und zu bestätigen dass die bereitgestellten Argument-Keys exakt übereinstimmen -> ein fehlendes Argument oder ein unerwartetes zusätzliches Argument muss einen Fehler auslösen. - Aufrufen und zurückgeben. Rufe die Funktion mit
func(**arguments)auf und gib ihr Ergebnis zurück.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
raise ValueError("bad arguments")
return func(**arguments)Warum so streng bei den Argumenten? Ein Tool-Aufruf, der mit den falschen Argumenten läuft, stürzt entweder tief in deiner Funktion ab oder, was schlimmer ist, macht still die falsche Sache. Ein lautes Versagen an der Grenze ist der ganze Punkt. Baue es so, dass zwei verschiedene Tools (zum Beispiel ein Rechner und eine Suche) jeweils ihr eigenes Ergebnis zurückgeben, ein unbekanntes Tool einen Fehler wirft, und sowohl ein fehlendes als auch ein zusätzliches Argument einen Fehler wirft.
Schreibe dispatch(call, registry), wo call ist {"name": ..., "arguments": {...}} und registry Namen auf Funktionen abbildet. Wirf einen Fehler bei einem unbekannten Toolnamen. Nutze inspect.signature, um zu bestätigen, dass jeder erforderliche required Parameter vorhanden ist und keine unerwarteten Extras da sind (ein Parameter mit einem Standardwert ist optional, also ist das Weglassen in Ordnung). inspect.signature(func).parameters bildet jeden Namen auf ein Parameterobjekt p ab; p.default is inspect.Parameter.empty ist genau dann True, wenn der Parameter keinen Standardwert hat, also erforderlich ist, dann rufe func(**arguments) auf und gib das Ergebnis zurück. Zwei verschiedene Tools müssen jeweils ihr eigenes Ergebnis zurückgeben.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.