Programma Lezione 90 di 156 · IA privata
IA privata

Anche gli embedding lasciano trapelare dati

Perché è importante Molte funzioni di IA trasformano il tuo testo in liste di numeri chiamate embedding, poi le salvano in un database per la ricerca. È facile pensare "sono solo numeri, non dati personali". Non sono solo numeri: possono rivelare che cosa è stato scritto, e se il record di una certa persona si trova o no nei dati.

Un'impronta del significato

Immagina una bibliotecaria che, invece di archiviare i libri per titolo, dà a ognuno una posizione su una mappa enorme: libri di cucina in un angolo, guide di viaggio in un altro, libri sulla cucina italiana vicini a entrambi. Due libri vicini sulla mappa parlano di cose simili. Un embedding è quella posizione, per un pezzo di testo.

Embedding: una lista di numeri (spesso centinaia) che un modello di IA produce da un testo, in modo che testi con significati simili ottengano liste simili. È come una posizione su una mappa del significato.

Database vettoriale: un database che salva embedding e trova in fretta quelli più vicini a uno nuovo. Alimenta la "ricerca per significato" e permette agli assistenti di IA di consultare i tuoi documenti.

Un piccolo esempio inventato con solo tre numeri per testo (quelli veri ne hanno centinaia):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

Fuga 1: i numeri possono tornare parole

Poiché gli embedding sono pensati per catturare il significato, chiunque li abbia può scoprire molto. I ricercatori hanno mostrato che, con gli strumenti giusti e l'accesso allo stesso modello, gran parte delle parole originali di testi brevi può essere ricostruita dai loro embedding. Anche senza questo, qualcuno può confrontare i tuoi embedding salvati con embedding di ipotesi ("c'è qualche nota su un infortunio al ginocchio?") e vedere quali sono vicini.

Fuga 2: inferenza di appartenenza

A volte il segreto non è che cosa dice un record ma se esiste. Se la ricerca con IA di una clinica è stata costruita solo dalle note dei pazienti, allora scoprire "la nota di questa persona è lì dentro" rivela già che è un paziente.

Inferenza di appartenenza: capire se un certo record faceva parte di un insieme di dati, osservando come un sistema risponde a quel record.

Ecco l'idea resa semplice. Supponi che uno strumento di ricerca restituisca un "punteggio di somiglianza" da 0 a 1. Un attaccante che ha già una copia di una nota (diciamo, un'email trapelata) chiede allo strumento di trovarla:

  • Se la nota è nel database, la corrispondenza migliore ha un punteggio di circa 1.00, perché corrisponde a se stessa.
  • Se la nota non c'è, la corrispondenza migliore è solo simile, diciamo 0.80.

Quella differenza risponde alla domanda "questa persona è qui dentro?". Lo stesso schema compare con i modelli addestrati: un modello tende a essere più sicuro sugli esempi su cui è stato addestrato che su quelli nuovi, e un attaccante può misurare quella differenza.

Difese

  • Tratta gli embedding come dati personali. Proteggili come il testo da cui provengono: controllo degli accessi, cifratura dei dati salvati, cancellazione quando il testo viene cancellato.
  • Oscura prima di creare gli embedding. Lo strumento per oscurare dell'ultima lezione funziona anche qui: togli prima nomi e recapiti.
  • Non mostrare i punteggi grezzi. Mostra i risultati, o fasce arrotondate come "buona corrispondenza", così nessuno può notare la corrispondenza quasi perfetta con se stessa.
  • Tieni l'indice sul dispositivo quando è per le note di una sola persona. Nessun altro può interrogarlo.
  • Aggiungi rumore con attenzione quando addestri sui dati di molte persone. Si chiama privacy differenziale; la parte approfondita del corso la tratta come si deve.

Un equivoco comune

"Salviamo solo vettori, non testo, quindi non conserviamo dati personali." I vettori sono stati creati per conservare il significato. Se il significato era personale, anche i vettori sono personali.

Riepilogo

  • Un embedding è una lista di numeri che cattura il significato di un testo, salvata in un database vettoriale per la ricerca.
  • Gli embedding possono lasciar trapelare il contenuto del testo, e possono essere confrontati con delle ipotesi.
  • L'inferenza di appartenenza chiede "questo record è nei dati?", spesso notando corrispondenze stranamente perfette o risposte molto sicure.
  • Difenditi oscurando prima, proteggendo gli embedding come il testo originale, nascondendo i punteggi grezzi e tenendo gli indici personali sul dispositivo.

Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione

Questo esercizio si apre presto

Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.