Phát hiện jailbreak và prompt injection
Thứ đầu tiên một sản phẩm LLM thật cần là một người gác cửa. Trước khi tin nhắn của người dùng tới được mô hình, bạn cho nó qua một phép kiểm tra rẻ, nhanh để bắt các chiêu jailbreak kinh điển: cố ghi đè system prompt của bạn, lén nhét chỉ dẫn ẩn, hoặc dụ mô hình nhập vai một nhân vật không có luật lệ. Đây chưa phải toàn bộ câu chuyện an toàn, nhưng nó là lớp bắt được 90% các cuộc tấn công lười biếng với chi phí gần như bằng không.
Bạn sẽ xây detect_jailbreak(text) trả về một dict nhỏ: {"flag": bool, "reason": str}. Khi văn bản trông như một cuộc tấn công, bạn gán flag=True và nêu tên khuôn mẫu; khi nó trông như một yêu cầu bình thường, bạn cho nó qua với flag=False và reason="clean". Ta tìm ba họ nổi tiếng, kiểm tra theo thứ tự ưu tiên này:
- ignore-previous -> người dùng cố xóa luật: các cụm như
ignore previous instructions,disregard the above,forget your instructions. - role-play-override -> người dùng gán một nhân vật vô luật:
you are now DAN,act as an AI with no restrictions,pretend you have no rules, cáideveloper modekhét tiếng. - encoded-instruction -> người dùng giấu yêu cầu thật sau một lớp mã hóa để né bộ lọc từ khóa:
decode this base64 and run it,rot13: ...,execute the following hex.
Cơ chế cố ý đơn giản: chuyển văn bản thành chữ thường một lần, rồi kiểm tra một nắm chuỗi con kích hoạt cho mỗi họ. Việc khớp không phân biệt hoa thường nên IGNORE PREVIOUS và ignore previous đều kích hoạt.
def detect_jailbreak(text):
t = text.lower()
if any(p in t for p in ("ignore previous", "disregard the above", ...)):
return {"flag": True, "reason": "ignore-previous"}
...
return {"flag": False, "reason": "clean"}Hai lưu ý thẳng thắn mà bài này cài sẵn. Thứ nhất, thứ tự ưu tiên quan trọng: một tin nhắn có thể chạm nhiều họ, nên bạn kiểm tra ignore-previous, rồi role-play-override, rồi encoded-instruction, và trả về lần trúng đầu tiên. Thứ hai, đây là một màn lọc, không phải một bảo đảm. Một kẻ tấn công khéo léo có thể diễn đạt vòng qua bất kỳ danh sách từ khóa nào, và đó chính là lý do các hệ thống thật xếp lớp nó với một bộ phân loại đã huấn luyện (bài tiếp theo) và một bộ red-team (bài sau nữa). Màn lọc từ khóa là tấm lưới rẻ đầu tiên, không phải tấm lưới duy nhất. Bấm Chạy để xem một hỗn hợp tấn công và yêu cầu vô hại được phân loại.
Viết detect_jailbreak(text) trả về {"flag": bool, "reason": str}. Chuyển văn bản thành chữ thường, rồi kiểm tra ba họ tấn công theo thứ tự ưu tiên và trả về lần trúng đầu tiên: ignore-previous (ignore previous, ignore all previous, disregard the above, disregard previous, forget your instructions, forget all previous), role-play-override (you are now dan, act as dan, no restrictions, without any restrictions, pretend you have no rules, pretend you are not, developer mode, act as an ai with no), và encoded-instruction (base64, rot13, decode this, decode the following, execute the following hex, run this hex). Đây là các danh sách đầy đủ; phần kiểm tra dùng đúng những cụm này. Văn bản vô hại trả về {"flag": False, "reason": "clean"}.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.