Chương trình học Bài 228 trên tổng số 250 · Dự án: Production AI Gateway
Dự án: Production AI Gateway

Đường ống Guardrail + Trace

Đây là phần cuối cùng, và nó là phần cho phép bạn đặt gateway trước người dùng thực tế: safety và observability. Trước khi bất kỳ văn bản nào đến mô hình, bạn chạy nó qua một guard pipeline để chặn các nỗ lực prompt-injection và xóa dữ liệu cá nhân. Và sau mỗi lần gọi, bạn ghi lại một trace event, sau đó tổng hợp các sự kiện đó vào bản tóm tắt mà kỹ sư on-call thực sự xem. Cùng với hai ý tưởng này, "guardrail" và "cost-account", hãy hoàn thành dòng resume mà bạn đã bắt đầu ở module này.

Người bảo vệ. Viết guard(request) kiểm tra văn bản yêu cầu và trả về một dict phán quyết như {"allowed": bool, "reason": ..., "text": ..., "redacted": [...]}. Hai bước kiểm tra:

  • Khối chống Injection:nếu văn bản khớp với mẫu tấn công đã biết (ví dụ "ignore all previous instructions", "reveal the system prompt", "you are now..."), hãy từ chối thẳng thừng bằng allowed=False. Một danh sách nhỏ các regex không phân biệt chữ hoa chữ thường là đủ ở đây.
  • PII redaction: nếu không, hãy xóa các email và số điện thoại khỏi văn bản, thay thế chúng bằng các placeholder [EMAIL] và [PHONE], và trả về văn bản đã làm sạch với allowed=True cộng với danh sách các loại bạn tìm thấy.
INJECTION = re.compile(r"ignore (?:all )?previous instructions|reveal .*system prompt|you are now", re.I)

def guard(request):
    text = request["text"]
    if INJECTION.search(text):
        return {"allowed": False, "reason": "injection", "text": text, "redacted": []}
    clean, kinds = redact(text)
    return {"allowed": True, "reason": "ok", "text": clean, "redacted": kinds}

Dấu vết. Mỗi yêu cầu được phục vụ đều để lại một dấu vết: handler nào đã chạy, nó có bị chặn hay không, và nó tốn bao nhiêu chi phí. Hãy viết aggregate_trace(events) trên một danh sách các dict với các khóa handler, blocked, và cost, trả về một bản tóm tắt với tổng số lượng calls, có bao nhiêu cái bị blocks, total_cost của các lần gọi thực sự được cho phép, và một by_handler phân tích các lần gọi và chi phí trên mỗi handler. Đây là công việc hoàn hảo cho một pandas groupby:

df = pd.DataFrame(events)
allowed = df[~df["blocked"]]
grouped = allowed.groupby("handler")["cost"].agg(["count", "sum"])

Các yêu cầu bị chặn không tốn phí và không được làm tăng total_cost, vì vậy chỉ tính tổng phí trên các hàng được cho phép. Xử lý trường hợp trace trống để một gateway mới báo cáo các số không sạch thay vì bị lỗi. Nhấn Run để chặn một injection, ẩn thông tin của một yêu cầu đầy chi tiết liên hệ, cho phép một yêu cầu vô hại đi qua, và in ra một trace đã được gộp lại.

Đến lượt bạn

Viết guard(request) (yêu cầu có khóa "text") trả về một verdict dict. Chặn các nỗ lực prompt-injection (một danh sách nhỏ các regex không phân biệt chữ hoa chữ thường) bằng allowed=False và reason="injection"; nếu không thì ẩn các email và số điện thoại thành các placeholder [EMAIL]/[PHONE] và trả về allowed=True, text đã làm sạch, và danh sách các loại tìm thấy. Sau đó viết aggregate_trace(events) trên các dict với handler, blocked, cost trả về {"calls", "blocks", "total_cost", "by_handler"}, nơi total_cost chỉ tính tổng các cuộc gọi được phép (không bị chặn) và by_handler chia nhỏ các cuộc gọi/chi phí theo từng handler.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.