Chương trình học Bài 215 trên tổng số 250 · Dự án: Customer Support Copilot
Dự án: Customer Support Copilot

Từ chối ngoài phạm vi, Trích dẫn và Thông tin định danh cá nhân

Trợ lý của bạn có thể truy xuất và căn cứ dữ liệu. Nhưng một bot hỗ trợ thực thụ trước mặt khách hàng cần guardrails, và đây là bài học biến bản demo thành thứ bạn thực sự có thể triển khai. Có ba yếu tố, và quản lý tuyển dụng sẽ tìm kiếm cả ba:

  • Từ chối các câu hỏi ngoài phạm vi. Nếu không có gì trong cơ sở kiến thức đủ gần với câu hỏi, đừng tự ý sáng tạo -- hãy trả về sentinel từ chối. Đây là hành vi an toàn quan trọng nhất trong RAG.
  • Trích dẫn nguồn. Khi bạn trả lời, hãy nói rõ các mã bài viết nào đã hỗ trợ câu trả lời, để con người có thể kiểm chứng.
  • Xóa bỏ thông tin cá nhân. Nếu bạn gửi lại văn bản của người dùng (vào nhật ký, phiếu hỗ trợ, hoặc câu lệnh), hãy loại bỏ email và số điện thoại trước.

Xây dựng lại một retriever (sử dụng lại TF-IDF từ bài học 1) và thêm lớp guardrail:

answer_or_refuse(query, index)   # refuse, or answer WITH citations
redact_pii(text)                 # mask emails and phone numbers

answer_or_refuse(query, index) chấm điểm câu truy vấn dựa trên cơ sở kiến thức. Nếu độ tương đồng top thấp hơn một ngưỡng, câu hỏi nằm ngoài phạm vi -- trả về chính xác giá trị sentinel I do not know.. Ngược lại, trả về một chuỗi câu trả lời không rỗng và cites the source ids mà nó đã sử dụng. Bộ chấm điểm kiểm tra hai điều về một câu trả lời thực tế: nó không phải là sentinel, và nó nêu đúng article id (ví dụ trích dẫn cho câu hỏi về mật khẩu bao gồm 0). Một cách sạch sẽ để định dạng trích dẫn là một (sources: [0]) ở cuối, nhưng bất kỳ dạng nào chứa id đều được chấp nhận. (Bài tập cuối này quy định rõ là "I do not know.", trong khi module RAG sử dụng "I don't know.". Từ ngữ chính xác không quan trọng; điều quan trọng là prompt và code của bạn phải thống nhất về một chuỗi cố định, chính xác đến từng ký tự.)

Cách thiết lập ngưỡng: khi đã loại bỏ stopwords, một câu hỏi hoàn toàn lạc đề ("what is the capital of France?") không có từ nội dung nào chung với bất kỳ bài báo nào, vì vậy độ tương đồng cosine cao nhất của nó là 0.0. Một câu hỏi đúng chủ đề sẽ có điểm số cao hơn hẳn mức không. Một ngưỡng dương nhỏ như 0.05 sẽ phân tách chúng một cách rõ ràng.

redact_pii(text) thay thế bất kỳ email nào bằng [EMAIL] và bất kỳ số điện thoại nào bằng [PHONE], giữ nguyên mọi thứ khác. Hai regex sẽ thực hiện việc này. Một email xấp xỉ name@host.tld; một số điện thoại là một chuỗi từ 7 chữ số trở lên có thể có + - ( ) space ở giữa. Văn bản bình thường bao gồm cả số ngắn như "30 days" phải được giữ nguyên. Nhấn Run để xem câu trả lời đúng chủ đề với trích dẫn, lời từ chối sai chủ đề, và PII đã được che đi.

Đến lượt bạn

Sử dụng lại TF-IDF retriever của bạn, sau đó thêm các guardrails. answer_or_refuse(query, index) trả về chính xác sentinel I do not know. khi độ tương đồng cao nhất thấp hơn một ngưỡng nhỏ; nếu không, nó trả về câu trả lời không trống có trích dẫn id(s) của tài liệu nguồn đã sử dụng. redact_pii(text) che email thành [EMAIL] và số điện thoại thành [PHONE] trong khi giữ nguyên văn bản vô hại (bao gồm cả các số ngắn như "30 days").

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.