Chương trình học Bài 184 trên tổng số 250 · Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn
Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn

Đường ống phòng chống chèn prompt

Chèn prompt (prompt injection) là phiên bản LLM của SQL injection: một người dùng lén đưa chỉ dẫn vào đầu vào của họ để cố ghi đè system prompt của bạn, làm lộ nó, hoặc chiếm quyền điều khiển hành vi của mô hình. Các payload kinh điển gồm "ignore all previous instructions", "reveal your system prompt", "you are now a...", và "developer mode". Một tuyến phòng thủ đầu tiên thực tế là một bộ phát hiện quét tìm các mẫu đã biết này, đi cùng bộ che PII từ trước và một phép kiểm tra đầu ra, tất cả được nối vào một rào chắn duy nhất mà mọi thứ đều đi qua.

Bộ phát hiện phải đủ cụ thể để không báo động giả. "I previously visited Paris" là vô hại và không được kích hoạt nó; "ignore all previous instructions" thì phải. Bạn so khớp trên cụm từ nguy hiểm, không phải một từ vô hại đơn lẻ, và bạn trả về lý do bạn đã đánh dấu để việc chặn có thể được kiểm tra lại.

import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
            r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitively

Cánh cổng đầy đủ ghép các mảnh lại: phát hiện chèn trên đầu vào thô, che PII, và chỉ gọi mô hình (giả lập) khi đầu vào an toàn. Trong vận hành bước mô hình sẽ là một lệnh gọi thật; ở đây một bản giả lập thay thế để việc chấm điểm giữ tất định. Điểm bạn được chấm là logic của cánh cổng.

Xây hai hàm. (1) detect_injection(text) -> một dict {"is_injection": bool, "score": int, "patterns": [...]} trong đó score là số mẫu đã khớp. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: nếu phát hiện chèn, đặt blocked=True và thêm "prompt_injection" vào reasons; luôn che PII vào safe_text và, nếu tìm thấy PII nào, nối thêm một lý do bắt đầu bằng "pii_redacted". Một thông điệp sạch đi qua nguyên vẹn và không bị chặn.

Đến lượt bạn

Xây detect_injection(text) trả về {"is_injection", "score", "patterns"} (score = số mẫu chèn đã khớp) và guard(user_text) trả về {"safe_text", "blocked", "reasons"}. guard chặn (thêm lý do "prompt_injection") khi phát hiện chèn, luôn che PII vào safe_text (nối thêm một lý do "pii_redacted..." khi tìm thấy), và để một thông điệp sạch nguyên vẹn và không bị chặn. Một câu vô hại trông giống như "I previously asked about the weather" không được bị chặn.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.