Chương trình học Bài 90 trên tổng số 156 · AI riêng tư
AI riêng tư

Embedding cũng rò rỉ

Vì sao điều này quan trọng Nhiều tính năng AI biến văn bản của bạn thành những list các con số gọi là embedding, rồi lưu chúng trong một cơ sở dữ liệu để tìm kiếm. Rất dễ nghĩ "chúng chỉ là các con số, không phải dữ liệu cá nhân". Chúng không chỉ là các con số: chúng có thể để lộ những gì đã được viết, và liệu bản ghi của một người cụ thể có trong dữ liệu không.

Một dấu vân tay của ý nghĩa

Hãy tưởng tượng một thủ thư, thay vì xếp sách theo tựa đề, cho mỗi cuốn một vị trí trên một tấm bản đồ khổng lồ: sách nấu ăn ở một góc, sách hướng dẫn du lịch ở góc khác, sách về nấu ăn Ý ở gần cả hai. Hai cuốn sách gần nhau trên bản đồ nói về những thứ tương tự. Một embedding là vị trí đó, cho một đoạn văn bản.

Embedding: một list các con số (thường hàng trăm số) mà một mô hình AI tạo ra từ một văn bản, sao cho các văn bản có ý nghĩa tương tự nhận các list tương tự. Nó giống như một vị trí trên bản đồ cho ý nghĩa.

Cơ sở dữ liệu vector: một cơ sở dữ liệu lưu embedding và nhanh chóng tìm những cái gần nhất với một cái mới. Nó vận hành "tìm kiếm theo ý nghĩa" và cho các trợ lý AI tra cứu tài liệu của bạn.

Một ví dụ bịa ra tí hon chỉ với ba con số cho mỗi văn bản (cái thật có hàng trăm):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

Rò rỉ 1: các con số có thể biến lại thành chữ

Vì embedding được thiết kế để nắm bắt ý nghĩa, bất kỳ ai có chúng đều có thể biết được rất nhiều. Các nhà nghiên cứu đã cho thấy rằng, với đúng công cụ và quyền truy cập cùng mô hình, phần lớn câu chữ gốc của các văn bản ngắn có thể được dựng lại từ embedding của chúng. Ngay cả không có điều đó, ai đó có thể so sánh các embedding bạn đã lưu với embedding của các phỏng đoán ("có ghi chú nào về chấn thương đầu gối không?") và xem cái nào gần.

Rò rỉ 2: suy luận thành viên

Đôi khi bí mật không phải là một bản ghi nói gì mà là liệu nó có tồn tại không. Nếu tính năng tìm kiếm AI của một phòng khám được xây chỉ từ ghi chú của bệnh nhân, thì biết được "ghi chú của người này có trong đó" đã để lộ họ là bệnh nhân.

Suy luận thành viên (membership inference): suy ra một bản ghi cụ thể có phải là một phần của một tập dữ liệu không, bằng cách quan sát một hệ thống phản hồi với nó ra sao.

Đây là ý tưởng nói đơn giản. Giả sử một công cụ tìm kiếm trả về một "điểm tương đồng" từ 0 tới 1. Một kẻ tấn công đã có một bản sao của một ghi chú (ví dụ, một email bị lộ) yêu cầu công cụ tìm nó:

  • Nếu ghi chú có trong cơ sở dữ liệu, chỗ khớp tốt nhất đạt khoảng 1.00, vì nó đang khớp với chính nó.
  • Nếu ghi chú không có ở đó, chỗ khớp tốt nhất chỉ là tương tự, ví dụ 0.80.

Khoảng cách đó trả lời câu hỏi "người này có ở trong đây không?". Cùng khuôn mẫu đó xuất hiện với các mô hình đã huấn luyện: một mô hình có xu hướng tự tin hơn trên các ví dụ nó đã được huấn luyện so với các ví dụ mới, và một kẻ tấn công có thể đo khác biệt đó.

Các cách phòng thủ

  • Coi embedding là dữ liệu cá nhân. Bảo vệ chúng như văn bản mà chúng đến từ đó: kiểm soát truy cập, mã hóa khi lưu trữ, xóa khi văn bản bị xóa.
  • Che trước khi tạo embedding. Bộ che từ bài trước cũng dùng được ở đây: gỡ tên và chi tiết liên lạc trước.
  • Đừng hiển thị điểm thô. Hiển thị kết quả, hay các dải làm tròn như "khớp tốt", để không ai nhận ra được chỗ tự khớp gần như hoàn hảo.
  • Giữ chỉ mục trên thiết bị khi nó dành cho ghi chú của riêng một người. Không ai khác truy vấn được nó.
  • Thêm nhiễu cẩn thận khi huấn luyện trên dữ liệu của nhiều người. Điều này gọi là quyền riêng tư vi sai; nửa chuyên sâu của khóa học nói về nó một cách đầy đủ.

Một hiểu lầm phổ biến

"Chúng tôi chỉ lưu vector, không lưu văn bản, nên không giữ dữ liệu cá nhân nào." Các vector được tạo ra để giữ ý nghĩa. Nếu ý nghĩa là cá nhân, các vector cũng là cá nhân.

Tóm tắt

  • Một embedding là một list các con số nắm bắt ý nghĩa của một văn bản, được lưu trong một cơ sở dữ liệu vector để tìm kiếm.
  • Embedding có thể làm rò rỉ nội dung của văn bản, và có thể được so sánh với các phỏng đoán.
  • Suy luận thành viên hỏi "bản ghi này có trong dữ liệu không?", thường bằng cách nhận ra những chỗ khớp hoàn hảo bất thường hay những câu trả lời tự tin.
  • Phòng thủ bằng cách che trước, bảo vệ embedding như văn bản gốc, giấu điểm thô và giữ các chỉ mục cá nhân trên thiết bị.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.