Les embeddings fuient aussi
Pourquoi c'est important Beaucoup de fonctions d'IA transforment ton texte en listes de nombres appelées embeddings, puis les stockent dans une base de données pour la recherche. Il est facile de penser « ce ne sont que des nombres, pas des données personnelles ». Ce ne sont pas que des nombres : ils peuvent révéler ce qui a été écrit, et si le dossier d'une personne donnée se trouve ou non dans les données.
Une empreinte du sens
Imagine un bibliothécaire qui, au lieu de classer les livres par titre, donne à chacun une position sur une immense carte : les livres de cuisine dans un coin, les guides de voyage dans un autre, les livres sur la cuisine italienne près des deux. Deux livres proches sur la carte parlent de choses semblables. Un embedding est cette position, pour un morceau de texte.
Embedding : une liste de nombres (souvent des centaines) qu'un modèle d'IA produit à partir d'un texte, de sorte que des textes de sens semblable reçoivent des listes semblables. C'est comme une position sur une carte du sens.
Base de données vectorielle : une base de données qui stocke des embeddings et trouve vite ceux qui sont le plus proches d'un nouveau. Elle fait marcher la « recherche par le sens » et permet aux assistants d'IA de chercher dans tes documents.
Un tout petit exemple inventé avec seulement trois nombres par texte (les vrais en ont des centaines) :
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Fuite 1 : les nombres peuvent redevenir des mots
Comme les embeddings sont conçus pour capturer le sens, quiconque les détient peut apprendre beaucoup. Des chercheurs ont montré qu'avec les bons outils et l'accès au même modèle, une grande partie de la formulation d'origine de textes courts peut être reconstruite à partir de leurs embeddings. Même sans ça, quelqu'un peut comparer tes embeddings stockés à des embeddings de suppositions (« une note parle-t-elle d'une blessure au genou ? ») et voir lesquels sont proches.
Fuite 2 : l'inférence d'appartenance
Parfois, le secret n'est pas ce que dit un dossier mais s'il existe. Si la recherche par IA d'une clinique a été construite uniquement à partir des notes de patients, alors apprendre « la note de cette personne y est » révèle déjà qu'elle est patiente.
Inférence d'appartenance (membership inference) : déterminer si un enregistrement précis faisait partie d'un jeu de données, en observant comment un système y réagit.
Voici l'idée simplifiée. Suppose qu'un outil de recherche renvoie un « score de similarité » de 0 à 1. Un attaquant qui a déjà une copie d'une note (disons, un e-mail fuité) demande à l'outil de la trouver :
- Si la note est dans la base de données, la meilleure correspondance obtient environ 1.00, car elle se correspond à elle-même.
- Si la note n'y est pas, la meilleure correspondance est seulement semblable, disons 0.80.
Cet écart répond à la question « cette personne est-elle là-dedans ? ». Le même schéma apparaît avec les modèles entraînés : un modèle a tendance à être plus confiant sur les exemples sur lesquels il a été entraîné que sur de nouveaux, et un attaquant peut mesurer cette différence.
Les défenses
- Traite les embeddings comme des données personnelles. Protège-les comme le texte d'où ils viennent : contrôle d'accès, chiffrement au repos, suppression quand le texte est supprimé.
- Masque avant de créer les embeddings. L'outil de masquage de la leçon précédente marche ici aussi : retire d'abord les noms et les coordonnées.
- N'affiche pas les scores bruts. Affiche des résultats, ou des tranches arrondies comme « bonne correspondance », pour que personne ne puisse repérer la correspondance presque parfaite avec soi-même.
- Garde l'index sur l'appareil quand il sert aux propres notes d'une seule personne. Personne d'autre ne peut l'interroger.
- Ajoute un bruit soigneux quand tu entraînes sur les données de beaucoup de gens. On appelle ça la confidentialité différentielle ; la partie approfondie du cours la traite correctement.
Une idée reçue
« Nous ne stockons que des vecteurs, pas de texte, donc aucune donnée personnelle n'est gardée. » Les vecteurs ont été faits pour préserver le sens. Si le sens était personnel, les vecteurs le sont aussi.
Récap
- Un embedding est une liste de nombres qui capture le sens d'un texte, stockée dans une base de données vectorielle pour la recherche.
- Les embeddings peuvent faire fuiter le contenu du texte, et peuvent être comparés à des suppositions.
- L'inférence d'appartenance demande « cet enregistrement est-il dans les données ? », souvent en repérant des correspondances anormalement parfaites ou des réponses très confiantes.
- Défends-toi en masquant d'abord, en protégeant les embeddings comme le texte d'origine, en cachant les scores bruts et en gardant les index personnels sur l'appareil.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.