강의 계획 레슨 250개 중 247번째 · 모델 응답 다루기
모델 응답 다루기

잘림, 거절, 또는 범위 밖

왜 중요한가 사용자에게 반쪽짜리 문장이나 빈 말풍선을 보여 주는 지원 봇은 망가져 보여요. 어떤 응답이든 보여 주기 전에 그게 어떤 종류의 응답인지 정하세요.

여기의 앱은 시스템 프롬프트가 이렇게 말하는 은행 도우미예요: 계좌와 카드에 관한 질문에만 답하고, 그 밖의 것에는 정확히 OUT_OF_SCOPE로 답하라. 응답 다섯 개:

  • 보통의 답.
  • 요청대로 정확히 OUT_OF_SCOPE.
  • 같은 신호를 느슨하게 쓴 것(줄바꿈이 붙은 Out_of_scope.): 모델은 "정확히 답하라"를 거의 언제나 따르니, 약간의 허용치를 두고 맞추세요(대소문자, 공백, 끝의 마침표는 무시).
  • 토큰 한도에서 잘린 답.
  • 거절: stop_reason이 "refusal"이고, 콘텐츠는 비어 있고, stop_details dict가 이유를 말할 수도 있어요.

각 종류에는 다른 화면이 필요해요: 답을 보여 주거나, "은행 업무만 도와드릴 수 있어요"를 보여 주거나, 모델에게 이어 달라고 하거나 더 높은 한도로 다시 시도하거나, 정중한 거절을 보여 주거나.

이 응답들에 대해: 시뮬레이션이에요. 각각은 Claude Messages API가 돌려주는 정확한 모양(콘텐츠 블록, stop_reason, usage)으로 이 강좌를 위해 썼고, 각각 실제 모델이 하는 무언가를 본떴어요. 살아 있는 모델의 녹화가 아니라서 정확한 문구는 우리가 쓴 것이지만, 모양과 문제는 내 코드가 만날 진짜예요.

내 차례

"refused"(stop_reason이 "refusal"), "cut_off"(stop_reason이 "max_tokens"), "out_of_scope"(둘레 공백과 끝의 .를 없앤 글이 대소문자를 무시하고 OUT_OF_SCOPE와 같음), "empty"(글이 전혀 없음), "answer" 중 하나를 돌려주는 classify_reply(reply)를 쓰세요. 그 순서로 확인하세요. 시작 코드의 REPLIES는 그대로 두세요: 확인이 그것을 읽어요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.