Chương trình học Bài 182 trên tổng số 250 · Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn
Đưa LLM vào vận hành: Chi phí, Bộ nhớ đệm và Rào chắn

Rào chắn che PII

Trước khi văn bản của người dùng tới một mô hình, một log, hay một bảng phân tích, bạn nên gỡ bỏ thông tin nhận dạng cá nhân (PII). Với một sản phẩm đặt quyền riêng tư lên đầu, đây không phải là phần trau chuốt tùy chọn, mà là cánh cổng giữ email, số điện thoại và số thẻ khỏi những nơi chúng không bao giờ được tới. Kỹ thuật là so khớp mẫu bằng biểu thức chính quy, thay mỗi kết quả khớp bằng một chỗ giữ chỗ có kiểu.

Ba mẫu phổ biến đưa bạn đi được phần lớn chặng đường:

  • Email: thứ gì đó như name@host.tld -> thay bằng [EMAIL].
  • Điện thoại: một số 10 chữ số, có thể được nhóm bằng dấu cách, gạch nối, dấu chấm, hoặc một mã quốc gia ở đầu -> [PHONE].
  • Thẻ: 16 chữ số trong bốn nhóm bốn, ngăn cách bằng dấu cách hoặc gạch nối tùy chọn -> [CARD].

Che mẫu dài nhất, cụ thể nhất trước (thẻ 16 chữ số) để một mẫu điện thoại tham lam hơn không thể gặm vào nó. Khi thay, ghi lại các kiểu bạn đã tìm thấy, để nơi gọi có thể kiểm tra những gì đã bị gỡ. Văn bản sạch được trả về nguyên vẹn với một list rỗng.

import re
EMAIL = re.compile(r"\b[A-Za-z0-9._%+\-]+@[A-Za-z0-9.\-]+\.[A-Za-z]{2,}\b")

Bạn sẽ chạy cái này trên đường vào bất kỳ mô hình nào. Chẳng hạn, trước khi đưa văn bản cho một engine trên thiết bị bạn sẽ safe, _ = redact(user_text) và gửi safe, không bao giờ gửi chuỗi thô. Bản thân lệnh gọi mô hình chỉ để minh họa; bộ che là phần bạn xây và được chấm. Hãy biết giới hạn của nó trước khi dựa vào nó: các mẫu chữ số tạo ra dương tính giả (một mã đơn hàng như "#2026071234" trông như một số điện thoại) và bỏ sót những gì chúng không mô tả (tên, địa chỉ nhà, số tài khoản viết có dấu cách). Che bằng regex là một lượt đầu rẻ; một hệ thống thật thêm một bộ nhận dạng thực thể và, trên hết, chỉ gửi cho mô hình những trường mà tác vụ cần.

Xây redact(text). Trả về một tuple (masked_text, types) trong đó masked_text có mọi email, số điện thoại và số thẻ được thay bằng chỗ giữ chỗ của nó, và types là một list đã sắp xếp các kiểu thực thể riêng biệt tìm thấy (trong số "card", "email", "phone"). Văn bản sạch trả về không đổi với [].

Đến lượt bạn

Viết redact(text) trả về (masked_text, types). Thay mọi email bằng [EMAIL], số điện thoại bằng [PHONE], và thẻ 16 chữ số bằng [CARD]; types là list đã sắp xếp các kiểu riêng biệt tìm thấy trong số "card", "email", "phone". Một chuỗi có một email và một số điện thoại trả về cả hai đã được che và ['email', 'phone']; văn bản sạch trả về không đổi với []; một tổ hợp PII khác cho ra một tập kiểu khác.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.