Сборка Grounded Prompt
Retrieval нашел нужные куски; теперь вам нужно сказать модели использовать их и ничего больше. Это шаг сборки промпта, и именно здесь обеспечивается заземление. Заземленный промпт выполняет три задачи: он четко представляет извлеченный контекст, он дает инструкции модели отвечать только из этого контекста, и он дает модели возможность признать незнание вместо того, чтобы выдумывать ответ.
Нумерация фрагментов важна по двум причинам: она визуально разделяет их, чтобы модель не смешивала два отрывка, и позволяет модели цитировать "[2]", если вы позже попросите ссылки. Строка escape-hatch это вторая половина защиты от отказов из прошлого урока: даже когда retrieval неплохой, конкретного ответа может не быть в тексте, а модели, которой сказали exactly что говорить, когда она не знает, гораздо меньше склонна к галлюцинациям.
System: Answer the question using only the context below.
If the answer is not in the context, reply exactly: I don't know.
Context:
[1] Refunds are issued within five business days...
[2] Shipping takes 5 to 7 business days...
Question: how long do refunds take?
Assistant:Эта последняя строка Assistant: это открытый ход: именно здесь модель начинает писать. (В вашем браузере локальный WebLLM возьмет эту строку и выдаст ответ. Вы оцениваетесь только по собранной вами строке, а не по ответу модели, который является детерминированной частью, которую вы проектируете.)
Что строить. Напишите build_rag_prompt(query, contexts) где contexts это список строк чанков. Возвращаемый prompt должен:
- Содержите каждый фрагмент контекста, пронумерованный начиная с 1 как
[1] ...,[2] ...по порядку. - Содержите точную инструкцию отвечать только по контексту.
- Содержите точный escape hatch
I don't know.(ответ модели по инструкции, когда ответа нет). - Содержит текст
query. - Закончите на открытом ответе (последняя непустая строка это маркер
Assistant:).
Нажмите Run, чтобы собрать промпт из двух извлеченных фрагментов и прочитать его обратно.
Напишите build_rag_prompt(query, contexts), который возвращает заземленный prompt string. Он должен пронумеровать каждый chunk контекста как [1] ..., [2] ... по порядку, включить инструкцию отвечать только на основе контекста, включить точный escape hatch I don't know., включить query и закончить открытым Assistant: turn.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.