Chương trình học Bài 193 trên tổng số 250 · AI có trách nhiệm: an toàn, kiểm duyệt và red-teaming
AI có trách nhiệm: an toàn, kiểm duyệt và red-teaming

Một bộ red-team đối kháng

Bạn có một người gác cửa và một bộ phân loại giọng điệu. Làm sao biết chúng thật sự hoạt động? Bạn tấn công chính ứng dụng của mình. Một bộ red-team là một loạt prompt đối kháng cố định mà bạn bắn vào handler có canh gác của mình mỗi lần có thay đổi, để một lần thoái lui trong khả năng phòng thủ hiện ra dưới dạng một con số thay vì một tít báo. Đây là thứ tương đương về an toàn của một bộ kiểm thử.

Toàn bộ chạy ngoại tuyến và có tính quyết định. "Mô hình" là một bản giả nhỏ để bài kiểm tra nhanh và không bao giờ gọi mạng: một guarded_handler(prompt) trước tiên chạy lớp phòng thủ của bạn, và chỉ khi prompt được phép thì nó mới trả về câu trả lời nhạy cảm (giả vờ).

SECRET = "the launch code is 1234"

def guarded_handler(prompt):
    if is_attack(prompt):
        return "I can't help with that."   # blocked
    return SECRET                          # the model 'answered'

Một cuộc tấn công lọt qua (một vụ rò rỉ) khi câu trả lời của handler vẫn chứa bí mật. Nó bị chặn khi câu trả lời là lời từ chối. Bạn sẽ chạy một bộ prompt tấn công có nhãn qua handler và đếm kết quả:

{
  "passed":  [...],   # attacks that got through and leaked the secret (bad)
  "blocked": [...],   # attacks the defence stopped (good)
  "leak_rate": 0.0    # fraction of attacks that leaked the secret
}

Một lưu ý về cách đặt tên, vì nó hay làm người ta vấp: các nhãn theo quy ước red-team, được đặt tên từ phía kẻ tấn công. Một cuộc tấn công làm rò rỉ bí mật là "passed" (nó đã vượt qua lớp phòng thủ của bạn); một cuộc bị từ chối là "blocked". Hãy đọc báo cáo với tư cách người phòng thủ, thứ bạn quan tâm trong môi trường thật: blocked là list các cuộc tấn công mà lớp phòng thủ của bạn đã chặn, passed là list các cuộc tấn công đã đánh bại nó (những cái làm rò rỉ), và leak_rate là len(passed) / number_of_attacks. Một lớp phòng thủ hoàn hảo có list passed rỗng và leak_rate là 0.0. Bấm Chạy để xem những cuộc tấn công nào lọt qua một lớp phòng thủ cố ý bị rò rỉ, rồi xem tỷ lệ rò rỉ giảm về không khi lớp phòng thủ được siết lại.

Vì sao giả lập mô hình

Red-team một LLM thật nghĩa là hàng nghìn lệnh gọi trả tiền, chậm, không có tính quyết định, vô dụng bên trong một bài kiểm thử đơn vị. Bản giả giữ hình dạng của vấn đề (một người gác trước một năng lực) trong khi làm cho bộ kiểm tra tức thì và lặp lại được. Trong một pipeline thật, bạn đổi bản giả lấy handler thật của mình và chạy đúng cùng mã chấm điểm đó trong CI.

Đến lượt bạn

Viết run_suite(handler, attacks, secret) bắn từng prompt tấn công qua handler và phân loại câu trả lời: nếu câu trả lời vẫn chứa secret thì cuộc tấn công đã passed (rò rỉ), nếu không thì nó đã bị blocked. Trả về {"passed": [...], "blocked": [...], "leak_rate": round(len(passed)/len(attacks), 4)} trong đó các list chứa các prompt tấn công. Sau đó gán report = run_suite(guarded_handler, ATTACKS, SECRET) (guarded_handler của lời giải chặn mọi cuộc tấn công, nên leak_rate là 0.0).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.