강의 계획 레슨 250개 중 133번째 · AI 엔지니어를 위한 프롬프트 엔지니어링
AI 엔지니어를 위한 프롬프트 엔지니어링

구분자, 근거 대기, 환각 방지

모델이 지어내는 걸 막는 가장 효과적인 방법은 근거 대기예요: 원천 자료를 주고, 분명한 구분자로 울타리를 치고, 그 자료에서만 답하라고 지시하되, 답이 거기 없을 때를 위한 명시적인 비상구를 두는 거예요. 모든 검색 증강 시스템의 핵심이고, 전부 프롬프트 구성이에요.

다음을 조립하는 grounded_prompt(question, context_chunks)를 만드세요:

  • 각 조각에 번호를 붙이고 울타리를 친 CONTEXT: 구역, [1] ..., [2] ...처럼.
  • 맥락 뒤의 질문.
  • 맥락에서만 답하라는 정확한 지시로, 비상구로 끝나요: 답이 맥락에 없으면 정확히 이렇게 답하라 I don't know.
  • 모델이 응답해야 한다는 걸 알도록 끝의 열린 답 차례.

그다음 확인기를 만드세요. check_grounded(answer, context_chunks)는 답에 근거가 있을 때 True를 돌려줘요: 정확히 I don't know. 표지이거나, 답의 의미 있는 모든 단어가 이어 붙인 맥락에 나올 때예요. 답에 맥락이 결코 언급하지 않은 지어낸 단어가 있으면 False를 돌려줘요.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

의미 있는 단어를 확인할 때 작은 불용어(the, is, a, of...)는 무시해서 평범한 표현이 벌받지 않게 하되, 맥락에 결코 나오지 않는 Berlin 같은 내용어는 확인에서 올바르게 실패하게 하세요. 채점하려면 실행을 누르세요.

이것이 무엇을 잡는지 정직하게 말할게요: 포함 확인은 지어낸 토큰(맥락이 결코 언급하지 않은 단어)을 표시하지만, 진짜 맥락 단어들을 다시 조합한 거짓 주장은 잡지 못해요. "Refunds take France business days"는 터무니없는데도 모든 단어가 맥락에 있으니 여기서는 통과할 거예요. 진짜 충실도 확인에는 단어 포함이 아니라 의미를 추론하는 LLM 판정자나 NLI(함의) 모델이 필요해요.

내 차례

CONTEXT: 아래에 조각들에 번호를 붙이고 울타리를 치고, 질문을 덧붙이고, 정확한 비상구 I don't know.와 함께 맥락에서만 답하라고 요구하고, 열린 답 차례로 끝나는 grounded_prompt(question, context_chunks)를 쓰세요. 정확한 배치, 줄은 "\n"으로 이음: CONTEXT:, 그다음 조각마다 [1] chunk text, [2] ...로 쓴 한 줄, 빈 줄, Question: ..., 지시 줄(I don't know.가 들어 있어야 해요), 그리고 마지막으로 열린 답 차례 [assistant]. 표지이거나, 답의 의미 있는(불용어가 아닌) 모든 단어가 이어 붙인 맥락에 있으면 True를, 아니면 False를 돌려주는 check_grounded(answer, context_chunks)를 쓰세요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.