Программа курса Урок 141 из 250 · Структурированные ответы и вызов функций/инструментов
Структурированные ответы и вызов функций/инструментов

Диспетчер инструментов / Роутер

Модель прочитала схемы ваших инструментов и ответила вызовом инструмента: парсингом объекта типа {"name": "add", "arguments": {"a": 4, "b": 5}}. Теперь ваша программа должна фактически run правильную функцию. Это работа dispatcher (или роутера): найти инструмент по имени, проверить, что аргументы именно такие, которые ожидает функция, вызвать её и вернуть результат. Это тот момент, когда слова LLM становятся реальным побочным эффектом в вашей системе, поэтому здесь вы должны быть строги.

В реальном цикле это находится сразу после парсинга ответа модели:

call = parse_tool_call(model_reply)        # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY)     # runs the matching Python function
# feed result back to the model as the tool's observation

Вы строите dispatch(call, registry), где registry сопоставляет имена инструментов с функциями Python. Это должно:

  • Прочитайте call["name"] и call["arguments"] (аргументы по умолчанию для {}).
  • Отклоните неизвестный инструмент. Если имени нет в реестре, вызовите ValueError -> никогда не делайте ничего молча и никогда не запускайте инструмент, который придумала модель.
  • Проверьте аргументы. Используйте inspect.signature чтобы получить имена параметров функции и подтвердить что предоставленные ключи аргументов совпадают точно -> отсутствие аргумента или неожиданный лишний аргумент должны вызывать ошибку.
  • Вызов и возврат. Вызовите функцию с func(**arguments) и верните ее результат.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
    raise ValueError("bad arguments")
return func(**arguments)

Почему такие строгие требования к аргументам? Вызов функции с неправильными аргументами либо вызывает сбой глубоко внутри вашей функции, либо, что хуже, тихо делает что-то не то. Ошибка должна явно проявляться на границе. Сделайте так, чтобы две разные функции (например, калькулятор и поиск) возвращали свои результаты, неизвестная функция вызывала ошибку, а отсутствие или лишний аргумент тоже вызывали ошибку.

Твоя очередь

Напишите dispatch(call, registry), где call это {"name": ..., "arguments": {...}} и registry сопоставляет имена с функциями. Вызывайте ошибку на неизвестном имени инструмента. Используйте inspect.signature, чтобы подтвердить, что каждый параметр, который требуется в required, присутствует и нет неожиданных лишних (параметр с дефолтным значением необязателен, поэтому его отсутствие допустимо). inspect.signature(func).parameters сопоставляет каждое имя с объектом параметра p; p.default is inspect.Parameter.empty равно True именно тогда, когда у параметра нет дефолта, значит он обязателен, затем вызовите func(**arguments) и верните результат. Два разных инструмента должны возвращать свои собственные результаты.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.