Embeddings juga bocor
Kenapa ini penting Banyak fitur AI mengubah teksmu menjadi daftar angka yang disebut embeddings, lalu menyimpannya di database untuk pencarian. Mudah untuk berpikir "itu cuma angka, bukan data pribadi". Itu bukan sekadar angka: mereka bisa mengungkap apa yang ditulis, dan apakah catatan orang tertentu ada di dalam data tersebut atau tidak.
sidik jari makna
Bayangkan seorang pustakawan yang, alih-alih menyusun buku berdasarkan judul, memberi setiap buku posisi di peta besar: buku masak di satu sudut, panduan perjalanan di sudut lain, buku tentang masakan Italia di dekat keduanya. Dua buku yang berdekatan di peta membahas hal yang mirip. embedding adalah posisi itu, untuk sebuah potongan teks.
Embedding: daftar angka (seringkali ratusan) yang dihasilkan model AI dari sebuah teks, sehingga teks dengan makna serupa mendapatkan daftar yang mirip. Ini seperti posisi peta untuk sebuah makna.
Database vektor: database yang menyimpan embedding dan mencari yang paling mirip dengan yang baru secara cepat. Ini mendukung "pencarian berdasarkan makna" dan memungkinkan asisten AI untuk mencari dokumenmu.
contoh buatan kecil dengan hanya tiga angka per teks (yang asli punya ratusan):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Kebocoran 1: angka bisa diubah kembali menjadi kata
Karena embeddings dirancang untuk menangkap makna, siapa pun yang memilikinya bisa belajar banyak hal. Peneliti telah menunjukkan bahwa, dengan alat yang tepat dan akses ke model yang sama, banyak kata asli dari teks pendek bisa disusun ulang dari embeddings mereka. Bahkan tanpa itu, seseorang bisa membandingkan embeddings yang kamu simpan dengan embeddings dari tebakan ("apakah ada catatan tentang cedera lutut?") dan melihat mana yang mirip.
Kebocoran 2: inferensi keanggotaan
Kadang rahasianya bukan apa yang dikatakan sebuah catatan tapi apakah itu ada. Jika pencarian AI sebuah klinik hanya dibangun dari catatan pasien, maka mengetahui "catatan orang ini ada di sana" sudah mengungkap bahwa mereka adalah pasien.
Membership inference: mencari tahu apakah suatu data tertentu adalah bagian dari sebuah dataset, dengan melihat bagaimana sistem meresponsnya.
Ini ide yang dibuat sederhana. Misalkan alat pencari memberikan "similarity score" dari 0 sampai 1. Penyerang yang sudah punya salinan catatan (misalnya, email yang bocor) meminta alat tersebut untuk mencarinya:
- Jika note is ada di database, skor kecocokan terbaik sekitar 1.00, karena itu cocok dengan dirinya sendiri.
- Jika catatan itu tidak ada di sana, kecocokan terbaik hanya mirip saja, misalnya 0.80.
Celah itu menjawab pertanyaan "apakah orang ini ada di sini?". Pola yang sama muncul pada model yang sudah dilatih: sebuah model cenderung lebih percaya diri pada contoh yang digunakan saat pelatihan daripada pada contoh baru, dan penyerang bisa mengukur perbedaan itu.
Pertahanan
- Anggap embedding sebagai data pribadi. Lindungi mereka seperti teks asalnya: kontrol akses, enkripsi saat diam, dan penghapusan saat teks dihapus.
- Sensor sebelum kamu masukkan. Redaktor dari pelajaran terakhir juga berfungsi di sini: hapus nama dan detail kontak dulu.
- Jangan tampilkan skor mentah.Tampilkan hasil, atau rentang yang dibulatkan seperti "cocok", supaya tidak ada yang bisa melihat kecocokan diri yang hampir sempurna.
- Simpan indeks di perangkat saat itu untuk catatan pribadi seseorang. Orang lain tidak bisa mencarinya.
- Tambahkan noise yang hati-hati saat melatih data banyak orang. Ini disebut differential privacy; bagian akhir kursus ini membahasnya dengan benar.
Kesalahpahaman umum
"Kita hanya menyimpan vektor, bukan teks, jadi tidak ada data pribadi yang disimpan." Vektor dibuat untuk menjaga makna. Jika maknanya bersifat pribadi, maka vektornya juga pribadi.
Ringkasan
- Embedding adalah daftar angka yang menangkap makna dari sebuah teks, disimpan dalam database vektor untuk pencarian.
- Embeddings bisa membocorkan isi teks, dan bisa dibandingkan dengan tebakan.
- Membership inference bertanya "apakah data ini ada di dalam data?", seringkali dengan melihat kecocokan yang terlalu sempurna atau jawaban yang sangat yakin.
- Lindungi dengan menyensor terlebih dahulu, melindungi embeddings seperti teks asli, menyembunyikan skor mentah dan menyimpan indeks pribadi di perangkat.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.