Đường ống phòng chống chèn prompt
Chèn prompt (prompt injection) là phiên bản LLM của SQL injection: một người dùng lén đưa chỉ dẫn vào đầu vào của họ để cố ghi đè system prompt của bạn, làm lộ nó, hoặc chiếm quyền điều khiển hành vi của mô hình. Các payload kinh điển gồm "ignore all previous instructions", "reveal your system prompt", "you are now a...", và "developer mode". Một tuyến phòng thủ đầu tiên thực tế là một bộ phát hiện quét tìm các mẫu đã biết này, đi cùng bộ che PII từ trước và một phép kiểm tra đầu ra, tất cả được nối vào một rào chắn duy nhất mà mọi thứ đều đi qua.
Bộ phát hiện phải đủ cụ thể để không báo động giả. "I previously visited Paris" là vô hại và không được kích hoạt nó; "ignore all previous instructions" thì phải. Bạn so khớp trên cụm từ nguy hiểm, không phải một từ vô hại đơn lẻ, và bạn trả về lý do bạn đã đánh dấu để việc chặn có thể được kiểm tra lại.
import re
PATTERNS = [r"ignore (?:all |the |your )?(?:previous|prior|above) (?:instructions|prompts?)",
r"reveal (?:your |the )?(?:system )?(?:prompt|instructions)"]
# match the phrase, case-insensitivelyCánh cổng đầy đủ ghép các mảnh lại: phát hiện chèn trên đầu vào thô, che PII, và chỉ gọi mô hình (giả lập) khi đầu vào an toàn. Trong vận hành bước mô hình sẽ là một lệnh gọi thật; ở đây một bản giả lập thay thế để việc chấm điểm giữ tất định. Điểm bạn được chấm là logic của cánh cổng.
Xây hai hàm. (1) detect_injection(text) -> một dict {"is_injection": bool, "score": int, "patterns": [...]} trong đó score là số mẫu đã khớp. (2) guard(user_text) -> {"safe_text": str, "blocked": bool, "reasons": [...]}: nếu phát hiện chèn, đặt blocked=True và thêm "prompt_injection" vào reasons; luôn che PII vào safe_text và, nếu tìm thấy PII nào, nối thêm một lý do bắt đầu bằng "pii_redacted". Một thông điệp sạch đi qua nguyên vẹn và không bị chặn.
Xây detect_injection(text) trả về {"is_injection", "score", "patterns"} (score = số mẫu chèn đã khớp) và guard(user_text) trả về {"safe_text", "blocked", "reasons"}. guard chặn (thêm lý do "prompt_injection") khi phát hiện chèn, luôn che PII vào safe_text (nối thêm một lý do "pii_redacted..." khi tìm thấy), và để một thông điệp sạch nguyên vẹn và không bị chặn. Một câu vô hại trông giống như "I previously asked about the weather" không được bị chặn.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.