Программа курса Урок 118 из 250 · Вызов реальной LLM
Вызов реальной LLM

Параллельные вызовы инструментов и is_error

Предыдущий урок был посвящен одному вызову инструмента. Но современные модели запрашивают несколько сразу: параллельное использование инструментов включено по умолчанию, поэтому один ход ассистента может содержать три или четыре tool_use блока ("узнайте погоду И посмотрите заказ И проверьте наличие"). Если ваш код выполняет только первый, модель ждет результатов, которые никогда не придут, и ход зависает.

"Параллельно" здесь описывает REQUEST модели, а не ваше выполнение: модель попросила несколько инструментов за один ход. Вы можете просто запустить их один за другим и отправить все результаты вместе, потоки или async не требуются.

Контракт точный: запускайте каждый tool_use блок, затем отправляйте обратно one сообщение пользователя, чье content это list из tool_result блоков, по одному за вызов, каждый повторяет свой tool_use_id.

{"content": [
  {"type": "tool_use", "id": "t1", "name": "get_weather", "input": {"city": "Paris"}},
  {"type": "tool_use", "id": "t2", "name": "add",         "input": {"a": 2, "b": 5}}],
 "stop_reason": "tool_use"}

Вторая новая идея это изоляция сбоев. Если один инструмент выдает ошибку, вы НЕ обрушиваете весь ход и не теряете другие результаты. Вы возвращаете этот блок tool_result с "is_error": True и текстом ошибки в качестве содержимого, чтобы модель могла увидеть, что пошло не так, и восстановиться. Галлюцинированное имя инструмента (которого нет в вашем реестре) это просто еще одна ошибка: сообщайте о ней как is_error, никогда не запускайте то, что вы не зарегистрировали.

Постройте run_tool_calls(resp, tools) возвращающий единственное последующее сообщение пользователя. При успехе у tool_result есть ровно type, tool_use_id и content (результат через str(...)); при ошибке он ТАКЖЕ содержит "is_error": True. Нажмите Run чтобы ответить на ход из двух вызовов.

Твоя очередь

Напишите run_tool_calls(resp, tools), который запускает КАЖДЫЙ блок tool_use в resp["content"] (игнорируйте другие типы блоков) и возвращает одно сообщение пользователя {"role": "user", "content": [ ...tool_result blocks... ]}, один результат за вызов по порядку. Каждый успешный результат это {"type": "tool_result", "tool_use_id": <id>, "content": str(result)}. Если инструмент вызывает ошибку или его имени нет в tools, этот результат вместо этого несет "is_error": True с текстом ошибки как content, и остальные инструменты все равно запускаются.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.