Отказ по вопросам вне области компетенции
A RAG система, которая всегда отвечает, опасна. Спросите своего бота поддержки "какая погода в Токио?" и, если он все равно отвечает, значит он больше не опирается на ваши документы, он угадывает. Решение это refusal guardrail: прежде чем вы соберете prompt, посмотрите, насколько хорошо извлеченные chunks на самом деле соответствуют вопросу. Если лучшее совпадение слабое, документы, вероятно, не содержат ответа на вопрос, поэтому правильный шаг это отказать и передать запрос, а не галлюцинировать.
Сигнал, который у вас уже есть, это максимальное сходство из поиска. Выберите threshold. Если самый высокооцененный из найденных фрагментов ниже него, откажите. Это одна дешевая проверка между поиском и генерацией, и это один из самых ценных элементов производственной RAG системы: это разница между "я не знаю" и уверенным неправильным ответом.
contexts = [
{"text": "Refunds take five business days...", "score": 0.62},
{"text": "Shipping takes 5 to 7 days...", "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3) # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7) # -> True, top 0.62 below 0.7Что строить. Напишите should_refuse(query, contexts, threshold) где contexts это список словарей, каждый из которых содержит числовой "score" (схожесть извлечения). Возвращайте:
Trueкогдаcontextsпустой (ничего не получено -> не на чем основываться).Trueкогда highest среди контекстов строго нижеthreshold.Falseиначе (хотя бы один фрагмент проходит порог).
Граница намеренная: оценка точно равная порогу достаточна для ответа (используйте строго меньше для отказа). Заметьте, что query передается, потому что реальная система может также отказываться по другим сигналам, но здесь решение зависит от оценок. Нажмите Run, чтобы увидеть, как вопросы внутри области и вне области получают разные вердикты.
Напишите should_refuse(query, contexts, threshold), которая возвращает True, когда contexts пуст или когда максимальный "score" во всех словарях контекста строго меньше threshold, и False в противном случае. Оценка, точно равная порогу, НЕ должна вызывать отказ.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.