Диспетчер инструментов / Роутер
Модель прочитала схемы ваших инструментов и ответила вызовом инструмента: парсингом объекта типа {"name": "add", "arguments": {"a": 4, "b": 5}}. Теперь ваша программа должна фактически run правильную функцию. Это работа dispatcher (или роутера): найти инструмент по имени, проверить, что аргументы именно такие, которые ожидает функция, вызвать её и вернуть результат. Это тот момент, когда слова LLM становятся реальным побочным эффектом в вашей системе, поэтому здесь вы должны быть строги.
В реальном цикле это находится сразу после парсинга ответа модели:
call = parse_tool_call(model_reply) # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY) # runs the matching Python function
# feed result back to the model as the tool's observationВы строите dispatch(call, registry), где registry сопоставляет имена инструментов с функциями Python. Это должно:
- Прочитайте
call["name"]иcall["arguments"](аргументы по умолчанию для{}). - Отклоните неизвестный инструмент. Если имени нет в реестре, вызовите
ValueError-> никогда не делайте ничего молча и никогда не запускайте инструмент, который придумала модель. - Проверьте аргументы. Используйте
inspect.signatureчтобы получить имена параметров функции и подтвердить что предоставленные ключи аргументов совпадают точно -> отсутствие аргумента или неожиданный лишний аргумент должны вызывать ошибку. - Вызов и возврат. Вызовите функцию с
func(**arguments)и верните ее результат.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
raise ValueError("bad arguments")
return func(**arguments)Почему такие строгие требования к аргументам? Вызов функции с неправильными аргументами либо вызывает сбой глубоко внутри вашей функции, либо, что хуже, тихо делает что-то не то. Ошибка должна явно проявляться на границе. Сделайте так, чтобы две разные функции (например, калькулятор и поиск) возвращали свои результаты, неизвестная функция вызывала ошибку, а отсутствие или лишний аргумент тоже вызывали ошибку.
Напишите dispatch(call, registry), где call это {"name": ..., "arguments": {...}} и registry сопоставляет имена с функциями. Вызывайте ошибку на неизвестном имени инструмента. Используйте inspect.signature, чтобы подтвердить, что каждый параметр, который требуется в required, присутствует и нет неожиданных лишних (параметр с дефолтным значением необязателен, поэтому его отсутствие допустимо). inspect.signature(func).parameters сопоставляет каждое имя с объектом параметра p; p.default is inspect.Parameter.empty равно True именно тогда, когда у параметра нет дефолта, значит он обязателен, затем вызовите func(**arguments) и верните результат. Два разных инструмента должны возвращать свои собственные результаты.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.