범위 밖 거절, 출처 인용, PII
어시스턴트가 검색하고 근거를 줄 수 있어요. 하지만 고객 앞의 진짜 지원 봇에는 가드레일이 필요하고, 이게 데모를 실제로 배포할 무언가로 바꾸는 레슨이에요. 세 가지이고, 채용 담당자는 셋 다 찾아볼 거예요:
- 범위 밖 질문을 거절하기. 지식 베이스에 질문과 충분히 가까운 게 없으면 즉흥으로 하지 말고 -- 거절 표지를 돌려줘요. 이게 RAG에서 가장 중요한 안전 행동 하나예요.
- 출처를 인용하기. 답할 때는 어느 글 id가 답을 뒷받침했는지 말해서, 사람이 확인할 수 있게 해요.
- PII를 가리기. 사용자의 글을 (로그, 티켓, 프롬프트에) 되풀이할 일이 있으면 먼저 이메일과 전화번호를 벗겨 내요.
검색기를 다시 만들고(레슨 1의 TF-IDF를 다시 쓰세요) 가드레일 층을 더하세요:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index)는 쿼리를 지식 베이스와 대조해 점수를 매겨요. 가장 높은 유사도가 기준보다 낮으면 질문은 범위 밖이에요 -- 정확한 표지 I do not know.를 돌려줘요. 아니면 사용한 출처 id를 인용하는 비어 있지 않은 답 문자열을 돌려줘요. 채점기는 진짜 답에 대해 두 가지를 확인해요: 표지가 아니고, 올바른 글 id를 밝혀요(예를 들어 비밀번호 질문의 인용에는 0이 들어 있어요). 인용을 깔끔하게 쓰는 방법은 끝에 (sources: [0])를 붙이는 거지만, id가 들어 있는 어떤 형태든 돼요. (이 캡스톤은 그것을 "I do not know."로 쓰고, RAG 모듈은 "I don't know."를 썼어요. 정확한 단어는 중요하지 않아요. 중요한 건 프롬프트와 코드가 하나의 고정된 문자열에 글자 하나하나 동의하는 거예요.)
기준을 정하는 법: 불용어를 빼면, 정말 주제 밖의 질문("what is the capital of France?")은 어떤 글과도 내용어를 공유하지 않으니, 가장 높은 코사인 유사도가 0.0이에요. 주제 안의 질문은 0보다 훨씬 높게 나와요. 0.05 같은 작은 양수 기준이 둘을 깔끔하게 갈라요.
redact_pii(text)는 모든 이메일을 [EMAIL]로, 모든 전화번호를 [PHONE]으로 바꾸고, 나머지는 손대지 않아요. 정규식 두 개면 돼요. 이메일은 대략 name@host.tld이고, 전화번호는 사이에 + - ( ) space가 있을 수 있는 7자리 이상의 숫자 연속이에요. 무해한 글 -- "30 days" 같은 짧은 숫자 포함 -- 은 바뀌지 않고 돌아와야 해요. Run을 눌러 인용이 붙은 주제 안 답, 주제 밖 거절, 가려진 PII를 보세요.
TF-IDF 검색기를 다시 쓰고, 그다음 가드레일을 더하세요. answer_or_refuse(query, index)는 가장 높은 유사도가 작은 기준보다 낮으면 정확한 표지 I do not know.를 돌려주고, 아니면 사용한 출처 문서 id를 인용하는 비어 있지 않은 답을 돌려줘요. redact_pii(text)는 이메일을 [EMAIL]로, 전화번호를 [PHONE]으로 가리고 무해한 글("30 days" 같은 짧은 숫자 포함)은 바꾸지 않아요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.