Hàng rào từ chối câu hỏi ngoài phạm vi
Một hệ thống RAG luôn trả lời là nguy hiểm. Hỏi bot hỗ trợ của bạn "thời tiết ở Tokyo thế nào?" và, nếu nó vẫn trả lời, nó không còn căn cứ trên tài liệu của bạn nữa, nó đang đoán. Cách sửa là một hàng rào từ chối: trước khi dựng prompt, hãy nhìn xem các đoạn truy xuất được thật sự khớp với câu hỏi tới đâu. Nếu kết quả khớp tốt nhất yếu, tài liệu có lẽ không bao quát câu hỏi, nên nước đi đúng là từ chối và chuyển tiếp thay vì ảo giác.
Tín hiệu bạn đã có là độ tương đồng truy xuất cao nhất. Chọn một ngưỡng. Nếu đoạn truy xuất được điểm cao nhất vẫn dưới nó, hãy từ chối. Đây là một phép kiểm tra duy nhất, rẻ, nằm giữa truy xuất và sinh văn bản, và nó là một trong những mảnh giá trị nhất của một hệ thống RAG thật: nó là khác biệt giữa "Tôi không biết" và một câu trả lời sai đầy tự tin.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Cần xây gì. Viết should_refuse(query, contexts, threshold) trong đó contexts là một list các dict mỗi cái mang một "score" số (độ tương đồng truy xuất). Trả về:
Truekhicontextsrỗng (không truy xuất được gì -> không có gì làm căn cứ).Truekhi điểm cao nhất trong các context nhỏ hơn hẳnthreshold.Falsenếu không (ít nhất một đoạn vượt qua mức).
Ranh giới là có chủ ý: một điểm đúng bằng ngưỡng là đủ tốt để trả lời (dùng nhỏ-hơn-hẳn cho việc từ chối). Để ý rằng query được truyền vì một hệ thống thật cũng có thể từ chối dựa trên các tín hiệu khác, nhưng ở đây quyết định dựa vào các điểm. Bấm Chạy để xem các câu hỏi trong phạm vi và ngoài phạm vi nhận các kết luận khác nhau.
Viết should_refuse(query, contexts, threshold) trả về True khi contexts rỗng hoặc khi "score" lớn nhất trên các dict context nhỏ hơn hẳn threshold, và False nếu không. Một điểm đúng bằng ngưỡng KHÔNG được từ chối.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.