Программа курса Урок 133 из 250 · Промпт-инжиниринг для ИИ-инженеров
Промпт-инжиниринг для ИИ-инженеров

Разделители, заземление и защита от галлюцинаций

Самый эффективный способ не дать модели выдумывать что-то это grounding: дайте ей исходный материал, ограничьте его четкими разделителями и дайте инструкцию отвечать only на основе этого материала, с явным выходом, если ответа там нет. Это основа каждой системы с дополненным извлечением и это все сводится к составлению промпта.

Создайте grounded_prompt(question, context_chunks), который собирает:

    Раздел
  • A CONTEXT: с каждым фрагментом под номером и в кавычках, как [1] ..., [2] ....
  • Вопрос после контекста.
  • Точное указание отвечать только по контексту, заканчивающееся выходом: если ответа нет в контексте, ответьте точно I don't know.
  • A завершающий открытый ответ, чтобы модель знала, что нужно ответить.

Затем создайте checker. check_grounded(answer, context_chunks) возвращает True, когда ответ обоснован: либо это в точности sentinel I don't know., ИЛИ каждое значимое слово в ответе встречается в объединенном контексте. Он возвращает False, когда ответ содержит выдуманные слова, которые контекст никогда не упоминал.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

Игнорируйте мелкие стоп-слова (the, is, a, of...) при проверке значимых слов, чтобы обычные фразы не штрафовались, но слово с содержанием типа Berlin, которое никогда не встречается в контексте, правильно не проходит проверку. Нажмите Run, чтобы оценить.

Честно оцените, что это ловит: проверка вхождения помечает выдуманные токены (слова, которых не было в контексте), но не может поймать ложное утверждение, собранное из настоящих слов контекста. «Refunds take France business days» прошло бы здесь, хотя это бессмыслица, потому что каждое слово есть в контексте. Настоящей проверке достоверности нужен LLM-судья или модель NLI (логического следования), которая рассуждает о смысле, а не только о наличии слов.

Твоя очередь

Напишите grounded_prompt(question, context_chunks), что нумерует и огораживает чанки под CONTEXT:, добавляет вопрос, требует ответ только из контекста с точным escape hatch I don't know., и заканчивается на открытом ответе. Точная разметка, строки соединены через "\n": CONTEXT:, затем одна строка на чанк, написанная как [1] chunk text, [2] ..., пустая строка, Question: ..., строка инструкции (она должна содержать I don't know.), и наконец открытый ответ [assistant]. Напишите check_grounded(answer, context_chunks), возвращающий True для sentinel ИЛИ когда каждое значимое (не стоп-слово) слово ответа есть в объединенном контексте, иначе False.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.