Разделители, заземление и защита от галлюцинаций
Самый эффективный способ не дать модели выдумывать что-то это grounding: дайте ей исходный материал, ограничьте его четкими разделителями и дайте инструкцию отвечать only на основе этого материала, с явным выходом, если ответа там нет. Это основа каждой системы с дополненным извлечением и это все сводится к составлению промпта.
Создайте grounded_prompt(question, context_chunks), который собирает:
- Раздел
- A
CONTEXT:с каждым фрагментом под номером и в кавычках, как[1] ...,[2] .... - Вопрос после контекста.
- Точное указание отвечать только по контексту, заканчивающееся выходом: если ответа нет в контексте, ответьте точно
I don't know. - A завершающий открытый ответ, чтобы модель знала, что нужно ответить.
Затем создайте checker. check_grounded(answer, context_chunks) возвращает True, когда ответ обоснован: либо это в точности sentinel I don't know., ИЛИ каждое значимое слово в ответе встречается в объединенном контексте. Он возвращает False, когда ответ содержит выдуманные слова, которые контекст никогда не упоминал.
ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx) # True
check_grounded("I don't know.", ctx) # True (honest)
check_grounded("The capital is Berlin.", ctx) # False (invented)Игнорируйте мелкие стоп-слова (the, is, a, of...) при проверке значимых слов, чтобы обычные фразы не штрафовались, но слово с содержанием типа Berlin, которое никогда не встречается в контексте, правильно не проходит проверку. Нажмите Run, чтобы оценить.
Честно оцените, что это ловит: проверка вхождения помечает выдуманные токены (слова, которых не было в контексте), но не может поймать ложное утверждение, собранное из настоящих слов контекста. «Refunds take France business days» прошло бы здесь, хотя это бессмыслица, потому что каждое слово есть в контексте. Настоящей проверке достоверности нужен LLM-судья или модель NLI (логического следования), которая рассуждает о смысле, а не только о наличии слов.
Напишите grounded_prompt(question, context_chunks), что нумерует и огораживает чанки под CONTEXT:, добавляет вопрос, требует ответ только из контекста с точным escape hatch I don't know., и заканчивается на открытом ответе. Точная разметка, строки соединены через "\n": CONTEXT:, затем одна строка на чанк, написанная как [1] chunk text, [2] ..., пустая строка, Question: ..., строка инструкции (она должна содержать I don't know.), и наконец открытый ответ [assistant]. Напишите check_grounded(answer, context_chunks), возвращающий True для sentinel ИЛИ когда каждое значимое (не стоп-слово) слово ответа есть в объединенном контексте, иначе False.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.