강의 계획 레슨 250개 중 157번째 · RAG 파이프라인 만들기
RAG 파이프라인 만들기

범위 밖 거절 가드레일

언제나 답하는 RAG 시스템은 위험해요. 지원 봇에게 "도쿄 날씨는 어때?"라고 물었는데 그래도 답한다면, 더는 여러분의 문서에 근거하지 않고 추측하는 거예요. 해결책은 거절 가드레일이에요: 프롬프트를 만들기 전에, 검색한 청크가 질문에 실제로 얼마나 잘 맞는지 보세요. 가장 잘 맞는 것도 약하다면 문서가 아마 그 질문을 다루지 않으니, 옳은 행동은 환각하는 대신 거절하고 넘기는 거예요.

이미 가진 신호는 가장 높은 검색 유사도예요. 기준을 고르세요. 가장 점수가 높은 검색 청크가 그보다 낮으면 거절해요. 검색과 생성 사이에 앉는 하나의 싼 확인이고, 실무 RAG 시스템에서 가치가 가장 높은 조각 중 하나예요: "모르겠어요"와 자신만만한 오답의 차이예요.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

만들 것. contexts가 숫자 "score"(검색 유사도)를 각각 실은 dict 리스트일 때 should_refuse(query, contexts, threshold)를 쓰세요. 돌려줄 것:

  • contexts가 비었으면 True(검색된 것 없음 -> 근거로 삼을 것 없음).
  • 맥락 중 가장 높은 점수가 threshold보다 엄격히 낮으면 True.
  • 아니면 False(적어도 청크 하나가 기준을 넘음).

경계는 일부러 정했어요: 기준과 정확히 같은 점수는 답하기에 충분해요(거절에는 엄격한 작음을 쓰세요). 진짜 시스템은 다른 신호로도 거절할 수 있어서 query를 넘기지만, 여기서는 결정이 점수에 달려 있어요. Run을 눌러 범위 안과 범위 밖 질문이 다른 판정을 받는 걸 보세요.

내 차례

contexts가 비었거나 맥락 dict들에 걸친 최대 "score"가 threshold보다 엄격히 작으면 True를, 아니면 False를 돌려주는 should_refuse(query, contexts, threshold)를 쓰세요. 기준과 정확히 같은 점수는 거절하면 안 돼요.

이 레슨에서 문제를 발견했나요? 알려 주세요 · 이 레슨에 대해 묻기

이 연습은 곧 열려요

앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.