Программа курса Урок 157 из 250 · Создайте RAG Pipeline
Создайте RAG Pipeline

Отказ по вопросам вне области компетенции

A RAG система, которая всегда отвечает, опасна. Спросите своего бота поддержки "какая погода в Токио?" и, если он все равно отвечает, значит он больше не опирается на ваши документы, он угадывает. Решение это refusal guardrail: прежде чем вы соберете prompt, посмотрите, насколько хорошо извлеченные chunks на самом деле соответствуют вопросу. Если лучшее совпадение слабое, документы, вероятно, не содержат ответа на вопрос, поэтому правильный шаг это отказать и передать запрос, а не галлюцинировать.

Сигнал, который у вас уже есть, это максимальное сходство из поиска. Выберите threshold. Если самый высокооцененный из найденных фрагментов ниже него, откажите. Это одна дешевая проверка между поиском и генерацией, и это один из самых ценных элементов производственной RAG системы: это разница между "я не знаю" и уверенным неправильным ответом.

contexts = [
    {"text": "Refunds take five business days...", "score": 0.62},
    {"text": "Shipping takes 5 to 7 days...",        "score": 0.20},
]
should_refuse("how do refunds work?", contexts, 0.3)  # -> False, top 0.62 clears it
should_refuse("what is the weather?", contexts, 0.7)  # -> True,  top 0.62 below 0.7

Что строить. Напишите should_refuse(query, contexts, threshold) где contexts это список словарей, каждый из которых содержит числовой "score" (схожесть извлечения). Возвращайте:

  • True когда contexts пустой (ничего не получено -> не на чем основываться).
  • True когда highest среди контекстов строго ниже threshold.
  • False иначе (хотя бы один фрагмент проходит порог).

Граница намеренная: оценка точно равная порогу достаточна для ответа (используйте строго меньше для отказа). Заметьте, что query передается, потому что реальная система может также отказываться по другим сигналам, но здесь решение зависит от оценок. Нажмите Run, чтобы увидеть, как вопросы внутри области и вне области получают разные вердикты.

Твоя очередь

Напишите should_refuse(query, contexts, threshold), которая возвращает True, когда contexts пуст или когда максимальный "score" во всех словарях контекста строго меньше threshold, и False в противном случае. Оценка, точно равная порогу, НЕ должна вызывать отказ.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.