Chương trình học Bài 133 trên tổng số 250 · Kỹ thuật prompt cho kỹ sư AI
Kỹ thuật prompt cho kỹ sư AI

Dấu phân cách, bám nguồn và chống bịa đặt

Cách hiệu quả nhất để ngăn một mô hình bịa chuyện là bám nguồn (grounding): đưa cho nó tài liệu nguồn, rào tài liệu đó bằng các dấu phân cách rõ ràng, và chỉ dẫn nó trả lời chỉ từ tài liệu đó, kèm một lối thoát tường minh khi câu trả lời không có ở đó. Đây là lõi của mọi hệ thống tăng cường bằng truy xuất, và tất cả đều là việc dựng prompt.

Xây grounded_prompt(question, context_chunks) ráp lại:

  • Một phần CONTEXT: với mỗi đoạn được đánh số và rào, như [1] ..., [2] ....
  • Câu hỏi sau phần ngữ cảnh.
  • Một chỉ dẫn chính xác là chỉ trả lời từ ngữ cảnh, kết thúc bằng lối thoát: nếu câu trả lời không có trong ngữ cảnh, hãy trả lời chính xác I don't know.
  • Một lượt trả lời mở ở cuối để mô hình biết phải trả lời.

Rồi xây bộ kiểm tra. check_grounded(answer, context_chunks) trả về True khi câu trả lời bám nguồn: hoặc nó đúng là câu canh gác I don't know., HOẶC mọi từ quan trọng trong câu trả lời đều xuất hiện trong ngữ cảnh đã nối lại. Nó trả về False khi câu trả lời chứa các từ bịa ra mà ngữ cảnh không bao giờ nhắc tới.

ctx = ["The capital of France is Paris."]
check_grounded("The capital is Paris.", ctx)            # True
check_grounded("I don't know.", ctx)                    # True (honest)
check_grounded("The capital is Berlin.", ctx)           # False (invented)

Bỏ qua các từ dừng nhỏ (the, is, a, of...) khi kiểm tra từ quan trọng, để cách diễn đạt bình thường không bị phạt, nhưng một từ mang nội dung như Berlin không bao giờ xuất hiện trong ngữ cảnh thì trượt phép kiểm tra một cách đúng đắn. Nhấn Chạy để chấm điểm.

Hãy trung thực về những gì việc này bắt được: phép kiểm tra chứa đựng đánh dấu các token bịa ra (những từ ngữ cảnh không bao giờ nhắc tới), nhưng nó không thể bắt một khẳng định sai được ghép lại từ các từ có thật trong ngữ cảnh. "Refunds take France business days" sẽ qua ở đây dù nó vô nghĩa, vì mọi từ đều có trong ngữ cảnh. Kiểm tra độ trung thành thật cần một LLM làm giám khảo hoặc một mô hình NLI (suy diễn) suy luận về ý nghĩa, không chỉ về việc từ có mặt hay không.

Đến lượt bạn

Viết grounded_prompt(question, context_chunks) đánh số và rào các đoạn dưới CONTEXT:, nối thêm câu hỏi, đòi chỉ trả lời từ ngữ cảnh với lối thoát chính xác I don't know., và kết thúc bằng một lượt trả lời mở. Bố cục chính xác, các dòng nối bằng "\n": CONTEXT:, rồi một dòng cho mỗi đoạn viết dạng [1] chunk text, [2] ..., một dòng trống, Question: ..., dòng chỉ dẫn (nó phải chứa I don't know.), và cuối cùng là lượt trả lời mở [assistant]. Viết check_grounded(answer, context_chunks) trả về True với câu canh gác HOẶC khi mọi từ quan trọng (không phải từ dừng) của câu trả lời đều có trong ngữ cảnh đã nối, nếu không thì False.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.