Anche gli embedding lasciano trapelare dati
Perché è importante Molte funzioni di IA trasformano il tuo testo in liste di numeri chiamate embedding, poi le salvano in un database per la ricerca. È facile pensare "sono solo numeri, non dati personali". Non sono solo numeri: possono rivelare che cosa è stato scritto, e se il record di una certa persona si trova o no nei dati.
Un'impronta del significato
Immagina una bibliotecaria che, invece di archiviare i libri per titolo, dà a ognuno una posizione su una mappa enorme: libri di cucina in un angolo, guide di viaggio in un altro, libri sulla cucina italiana vicini a entrambi. Due libri vicini sulla mappa parlano di cose simili. Un embedding è quella posizione, per un pezzo di testo.
Embedding: una lista di numeri (spesso centinaia) che un modello di IA produce da un testo, in modo che testi con significati simili ottengano liste simili. È come una posizione su una mappa del significato.
Database vettoriale: un database che salva embedding e trova in fretta quelli più vicini a uno nuovo. Alimenta la "ricerca per significato" e permette agli assistenti di IA di consultare i tuoi documenti.
Un piccolo esempio inventato con solo tre numeri per testo (quelli veri ne hanno centinaia):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Fuga 1: i numeri possono tornare parole
Poiché gli embedding sono pensati per catturare il significato, chiunque li abbia può scoprire molto. I ricercatori hanno mostrato che, con gli strumenti giusti e l'accesso allo stesso modello, gran parte delle parole originali di testi brevi può essere ricostruita dai loro embedding. Anche senza questo, qualcuno può confrontare i tuoi embedding salvati con embedding di ipotesi ("c'è qualche nota su un infortunio al ginocchio?") e vedere quali sono vicini.
Fuga 2: inferenza di appartenenza
A volte il segreto non è che cosa dice un record ma se esiste. Se la ricerca con IA di una clinica è stata costruita solo dalle note dei pazienti, allora scoprire "la nota di questa persona è lì dentro" rivela già che è un paziente.
Inferenza di appartenenza: capire se un certo record faceva parte di un insieme di dati, osservando come un sistema risponde a quel record.
Ecco l'idea resa semplice. Supponi che uno strumento di ricerca restituisca un "punteggio di somiglianza" da 0 a 1. Un attaccante che ha già una copia di una nota (diciamo, un'email trapelata) chiede allo strumento di trovarla:
- Se la nota è nel database, la corrispondenza migliore ha un punteggio di circa 1.00, perché corrisponde a se stessa.
- Se la nota non c'è, la corrispondenza migliore è solo simile, diciamo 0.80.
Quella differenza risponde alla domanda "questa persona è qui dentro?". Lo stesso schema compare con i modelli addestrati: un modello tende a essere più sicuro sugli esempi su cui è stato addestrato che su quelli nuovi, e un attaccante può misurare quella differenza.
Difese
- Tratta gli embedding come dati personali. Proteggili come il testo da cui provengono: controllo degli accessi, cifratura dei dati salvati, cancellazione quando il testo viene cancellato.
- Oscura prima di creare gli embedding. Lo strumento per oscurare dell'ultima lezione funziona anche qui: togli prima nomi e recapiti.
- Non mostrare i punteggi grezzi. Mostra i risultati, o fasce arrotondate come "buona corrispondenza", così nessuno può notare la corrispondenza quasi perfetta con se stessa.
- Tieni l'indice sul dispositivo quando è per le note di una sola persona. Nessun altro può interrogarlo.
- Aggiungi rumore con attenzione quando addestri sui dati di molte persone. Si chiama privacy differenziale; la parte approfondita del corso la tratta come si deve.
Un equivoco comune
"Salviamo solo vettori, non testo, quindi non conserviamo dati personali." I vettori sono stati creati per conservare il significato. Se il significato era personale, anche i vettori sono personali.
Riepilogo
- Un embedding è una lista di numeri che cattura il significato di un testo, salvata in un database vettoriale per la ricerca.
- Gli embedding possono lasciar trapelare il contenuto del testo, e possono essere confrontati con delle ipotesi.
- L'inferenza di appartenenza chiede "questo record è nei dati?", spesso notando corrispondenze stranamente perfette o risposte molto sicure.
- Difenditi oscurando prima, proteggendo gli embedding come il testo originale, nascondendo i punteggi grezzi e tenendo gli indici personali sul dispositivo.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.