Программа курса Урок 158 из 250 · Создайте RAG Pipeline
Создайте RAG Pipeline

Сборка Grounded Prompt

Retrieval нашел нужные куски; теперь вам нужно сказать модели использовать их и ничего больше. Это шаг сборки промпта, и именно здесь обеспечивается заземление. Заземленный промпт выполняет три задачи: он четко представляет извлеченный контекст, он дает инструкции модели отвечать только из этого контекста, и он дает модели возможность признать незнание вместо того, чтобы выдумывать ответ.

Нумерация фрагментов важна по двум причинам: она визуально разделяет их, чтобы модель не смешивала два отрывка, и позволяет модели цитировать "[2]", если вы позже попросите ссылки. Строка escape-hatch это вторая половина защиты от отказов из прошлого урока: даже когда retrieval неплохой, конкретного ответа может не быть в тексте, а модели, которой сказали exactly что говорить, когда она не знает, гораздо меньше склонна к галлюцинациям.

System: Answer the question using only the context below.
If the answer is not in the context, reply exactly: I don't know.

Context:
[1] Refunds are issued within five business days...
[2] Shipping takes 5 to 7 business days...

Question: how long do refunds take?
Assistant:

Эта последняя строка Assistant: это открытый ход: именно здесь модель начинает писать. (В вашем браузере локальный WebLLM возьмет эту строку и выдаст ответ. Вы оцениваетесь только по собранной вами строке, а не по ответу модели, который является детерминированной частью, которую вы проектируете.)

Что строить. Напишите build_rag_prompt(query, contexts) где contexts это список строк чанков. Возвращаемый prompt должен:

  • Содержите каждый фрагмент контекста, пронумерованный начиная с 1 как [1] ..., [2] ... по порядку.
  • Содержите точную инструкцию отвечать только по контексту.
  • Содержите точный escape hatch I don't know. (ответ модели по инструкции, когда ответа нет).
  • Содержит текст query.
  • Закончите на открытом ответе (последняя непустая строка это маркер Assistant:).

Нажмите Run, чтобы собрать промпт из двух извлеченных фрагментов и прочитать его обратно.

Твоя очередь

Напишите build_rag_prompt(query, contexts), который возвращает заземленный prompt string. Он должен пронумеровать каждый chunk контекста как [1] ..., [2] ... по порядку, включить инструкцию отвечать только на основе контекста, включить точный escape hatch I don't know., включить query и закончить открытым Assistant: turn.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.