Embeddings leaken auch
Warum das wichtig ist Viele KI-Funktionen verwandeln deinen Text in Listen von Zahlen, die Embeddings genannt werden, und speichern sie dann in einer Datenbank für die Suche. Es ist leicht zu denken "sie sind nur Zahlen, keine persönlichen Daten". Sie sind nicht nur Zahlen: sie können offenbaren, was geschrieben wurde, und ob der Datensatz einer bestimmten Person überhaupt in den Daten enthalten ist.
A Fingerabdruck der Bedeutung
Stell dir einen Bibliothekar vor, der Büchern anstatt nach Titel eine Position auf einer riesigen Karte gibt: Kochbücher in einer Ecke, Reiseführer in einer anderen, Bücher über italienisches Kochen in der Nähe von beiden. Zwei Bücher, die auf der Karte nah beieinander liegen, handeln von ähnlichen Dingen. Ein embedding ist diese Position für ein Stück Text.
Embedding: eine Liste von Zahlen (oft hunderte davon), die ein KI-Modell aus einem Text erzeugt, sodass Texte mit ähnlichen Bedeutungen ähnliche Listen erhalten. Es ist wie eine Kartenposition für Bedeutung.
Vektordatenbank: eine Datenbank, die Embeddings speichert und schnell diejenigen findet, die einem neuen am nächsten liegen. Sie ermöglicht die Suche nach Bedeutung und erlaubt es KI-Assistenten, deine Dokumente abzurufen.
ein winziges, erfundenes Beispiel mit nur drei Zahlen pro Text (echte haben Hunderte):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Leak 1: die Zahlen können wieder in Wörter umgewandelt werden
Da Embeddings darauf ausgelegt sind, Bedeutung zu erfassen, kann jeder, der sie hat, viel lernen. Forscher haben gezeigt, dass mit den richtigen Werkzeugen und Zugriff auf dasselbe Modell ein Großteil der ursprünglichen Wortwahl kurzer Texte aus ihren Embeddings rekonstruiert werden kann. Selbst ohne das kann jemand deine gespeicherten Embeddings mit Embeddings von Vermutungen ("gibt es eine Notiz über eine Knieverletzung?") vergleichen und sehen, welche nah beieinander liegen.
Leak 2: Mitgliedschaftsinferenz
Manchmal ist das Geheimnis nicht what ein Datensatz sagt, sondern ob er existiert. Wenn die KI-Suche einer Klinik nur aus Patientennotizen erstellt wurde, dann offenbart das Lernen "die Notiz dieser Person ist darin" bereits, dass sie ein Patient ist.
Membership inference: herausfinden, ob ein bestimmter Datensatz Teil eines Datensatzes war, indem man beobachtet, wie ein System darauf reagiert.
Hier ist die Idee vereinfacht. Angenommen, ein Suchwerkzeug gibt einen "similarity score" von 0 bis 1 zurück. Ein Angreifer, der bereits eine Kopie einer Notiz hat (zum Beispiel eine geleakte E-Mail), bittet das Werkzeug, sie zu finden:
- Wenn die Notiz is in der Datenbank ist, liegt der beste Match-Score bei etwa 1.00, weil sie sich selbst entspricht.
- Wenn die Notiz nicht da ist, ist die beste Übereinstimmung lediglich ähnlich, zum Beispiel 0.80.
Diese Lücke beantwortet die Frage "ist diese Person hier?". Das gleiche Muster tritt bei trainierten Modellen auf: Ein Modell neigt dazu, sich bei Beispielen, an denen es trainiert wurde, sicherer zu sein als bei neuen, und ein Angreifer kann diesen Unterschied messen.
Verteidigungen
- Behandle Embeddings als personenbezogene Daten. Schütze sie wie den Text, aus dem sie stammen: Zugriffskontrolle, Verschlüsselung im Ruhezustand, Löschung wenn der Text gelöscht wird.
- Redigiere vor dem Einbetten. Der Redaktor aus der letzten Lektion funktioniert hier auch: entferne zuerst Namen und Kontaktdaten.
- Zeige keine Rohwerte an. Zeige Ergebnisse oder gerundete Bänder wie "gute Übereinstimmung" an, damit niemand die fast perfekte Selbstübereinstimmung bemerken kann.
- Behalte den Index auf dem Gerät, wenn er für die eigenen Notizen einer Person ist. Niemand anderes kann ihn abfragen.
- Add careful noise beim Training auf Daten vieler Menschen. Das wird differential privacy genannt; der zweite Teil des Kurses behandelt es ordentlich.
Ein häufiges Missverständnis
"Wir speichern nur Vektoren, keinen Text, also werden keine persönlichen Daten behalten." Die Vektoren wurden erstellt, um die Bedeutung zu bewahren. Wenn die Bedeutung persönlich war, sind die Vektoren auch persönlich.
Zusammenfassung
- Ein Embedding ist eine Liste von Zahlen, die die Bedeutung eines Textes erfasst und in einer Vektordatenbank für die Suche gespeichert wird.
- Embeddings können den Inhalt des Textes preisgeben und können mit Vermutungen verglichen werden.
- Membership inference fragt "ist dieser Datensatz in den Daten?", oft durch das Erkennen ungewöhnlich perfekter Übereinstimmungen oder sicherer Antworten.
- Schütze durch Schwärzen zuerst, schütze Embeddings wie den Originaltext, verberge Rohwerte und behalte persönliche Indizes auf dem Gerät.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.