Отказ из-за выхода за рамки, цитаты и PII
Ваш ассистент может извлекать и обосновывать данные. Но реальный бот поддержки перед клиентами нуждается в guardrails, и это урок, который превращает демо в то, что вы действительно развернете. Три из них, и менеджер по найму будет искать все три:
- Отказывайте в ответах на вопросы вне области компетенции. Если ничего в базе знаний недостаточно близко к вопросу, не импровизируйте -- верните sentinel отказа. Это самое важное поведение безопасности в RAG.
- Указывайте источники. Когда вы даете ответ, говорите, какие id статей подтвердили его, чтобы человек мог проверить это.
- Удаляйте PII. Если вы когда-нибудь выводите текст пользователя (в лог, тикет или промпт), сначала удаляйте адреса электронной почты и номера телефонов.
Снова создайте retriever (используйте свой TF-IDF из урока 1) и добавьте слой guardrail:
answer_or_refuse(query, index) # refuse, or answer WITH citations
redact_pii(text) # mask emails and phone numbersanswer_or_refuse(query, index) оценивает запрос по отношению к базе знаний. Если top сходство ниже порога, вопрос вне области -- верните точный сигнал I do not know.. В противном случае верните непустую строку ответа, которая ссылается на id использованных источников. Градиер проверяет две вещи в реальном ответе: он не является сигналом и называет правильный id статьи (например, цитата для вопроса о пароле включает 0). Чистый способ форматирования цитаты это завершающий (sources: [0]), но любая форма, содержащая id, подходит. (Этот запуск прописывает это как "I do not know.", где модуль RAG использовал "I don't know.". Точные слова не имеют значения; важно, чтобы ваш prompt и ваш код совпадали по одной фиксированной строке, символ в символ.)
Как установить порог: с удаленными стоп-словами вопрос не по теме ("какая столица Франции?") не имеет общих слов содержания ни с одной статьей, поэтому его максимальное cosine similarity равно 0.0. Вопрос по теме получает оценку значительно выше нуля. Маленький положительный порог типа 0.05 четко разделяет их.
redact_pii(text) заменяет любой email на [EMAIL] и любой номер телефона на [PHONE], оставляя все остальное нетронутым. Это делают два regex. Email это примерно name@host.tld; номер телефона это последовательность из 7 или более цифр, возможно с + - ( ) space между ними. Безопасный текст, включая короткие числа вроде "30 days", должен остаться без изменений. Нажмите Run, чтобы увидеть ответ по теме с цитатой, отказ не по теме и замаскированные PII.
Используйте ваш TF-IDF retriever, затем добавьте guardrails. answer_or_refuse(query, index) возвращает точный sentinel I do not know., когда максимальное сходство ниже небольшого порога; иначе он возвращает непустой ответ, который цитирует source doc id(s), которые он использовал. redact_pii(text) маскирует emails как [EMAIL] и phone numbers как [PHONE], оставляя benign text (включая короткие числа типа "30 days") без изменений.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.