강의 계획 레슨 250개 중 141번째 · 구조화된 출력과 함수/도구 호출
구조화된 출력과 함수/도구 호출

도구 디스패처 / 라우터

모델이 도구 스키마를 읽고 도구 호출로 답했어요: {"name": "add", "arguments": {"a": 4, "b": 5}} 같은 해석된 객체예요. 이제 프로그램이 알맞은 함수를 실제로 실행해야 해요. 그게 디스패처(또는 라우터)의 일이에요: 이름 붙은 도구를 찾고, 인자가 함수가 기대하는 바로 그것인지 확인하고, 호출하고, 결과를 돌려줘요. 여기가 LLM의 말이 내 시스템의 진짜 부작용이 되는 선이니, 엄격해야 하는 곳이기도 해요.

실제 반복에서는 모델의 응답을 해석한 바로 뒤에 있어요:

call = parse_tool_call(model_reply)        # {"name": ..., "arguments": {...}}
result = dispatch(call, TOOL_REGISTRY)     # runs the matching Python function
# feed result back to the model as the tool's observation

registry가 도구 이름을 Python 함수에 대응시키는 dispatch(call, registry)를 만들어요. 이것은:

  • call["name"]과 call["arguments"]를 읽어요(arguments의 기본값은 {}).
  • 모르는 도구를 거부해요. 이름이 레지스트리에 없으면 ValueError를 일으켜요 -> 결코 조용히 아무것도 안 하지 말고, 모델이 지어낸 도구를 결코 실행하지 마세요.
  • 인자를 검증해요. inspect.signature로 함수의 매개변수 이름을 얻고, 주어진 인자 키가 정확히 맞는지 확인하세요 -> 빠진 인자나 예상 밖의 여분은 오류를 일으켜야 해요.
  • 호출하고 돌려줘요. func(**arguments)로 함수를 부르고 그 결과를 돌려주세요.
import inspect
expected = set(inspect.signature(func).parameters)
if set(arguments) != expected:
    raise ValueError("bad arguments")
return func(**arguments)

왜 인자에 그렇게 엄격할까요? 틀린 인자로 실행된 도구 호출은 함수 깊숙한 곳에서 멈추거나, 더 나쁘게는 조용히 엉뚱한 일을 해요. 경계에서 시끄럽게 실패하는 게 요점 전부예요. 서로 다른 두 도구(예를 들어 계산기와 조회)가 각각 자기 결과를 돌려주고, 모르는 도구는 오류를 일으키고, 빠진 인자와 여분의 인자 둘 다 오류를 일으키도록 만드세요.

내 차례

call이 {"name": ..., "arguments": {...}}이고 registry가 이름을 함수에 대응시키는 dispatch(call, registry)를 쓰세요. 모르는 도구 이름에는 오류를 일으키세요. inspect.signature로 모든 필수 매개변수가 있고 예상 밖의 여분이 없는지 확인하세요(기본값이 있는 매개변수는 선택이니 빠뜨려도 괜찮아요). inspect.signature(func).parameters는 각 이름을 매개변수 객체 p에 대응시키고, p.default is inspect.Parameter.empty는 매개변수에 기본값이 없을 때 정확히 True라서 필수예요. 그다음 func(**arguments)를 부르고 결과를 돌려주세요. 서로 다른 두 도구는 각각 자기 결과를 돌려줘야 해요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.