Embeddings lekken ook
Waarom dit ertoe doetVeel AI functies zetten je tekst om in lijsten van getallen genaamd embeddings, en slaan deze dan op in een database voor zoekopdrachten. Het is makkelijk om te denken "het zijn gewoon getallen, geen persoonlijke gegevens". Het zijn niet alleen getallen: ze kunnen onthullen wat er is geschreven, en of de gegevens van een bepaalde persoon überhaupt in de data staan.
een vingerafdruk van betekenis
Stel je een bibliothecaris voor die boeken niet op titel sorteert, maar elk boek een positie geeft op een enorme kaart: kookboeken in de ene hoek, reisgidsen in de andere, boeken over Italiaans koken bij beide. Twee boeken die dicht bij elkaar op de kaart staan, gaan over vergelijkbare dingen. Een embedding is die positie, voor een stuk tekst.
Embedding: een lijst van getallen (vaak er zijn honderden) die een AI model produceert uit een tekst, zodat teksten met vergelijkbare betekenissen vergelijkbare lijsten krijgen. Het is als een kaartpositie voor betekenis.
Vector database: een database die embeddings opslaat en snel degenen vindt die het dichtst bij een nieuwe liggen. Het maakt "zoeken op betekenis" mogelijk en laat AI assistenten jouw documenten opzoeken.
een klein verzonnen voorbeeld met slechts drie getallen per tekst (echte hebben er honderden):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Lekkage 1: de getallen kunnen weer worden omgezet in woorden
Omdat embeddings zijn ontworpen om betekenis te vangen, kan iedereen die ze heeft veel leren. Onderzoekers hebben laten zien dat, met de juiste tools en toegang tot hetzelfde model, veel van de oorspronkelijke formulering van korte teksten kan worden gereconstrueerd vanuit hun embeddings. Zelfs zonder dat kan iemand jouw opgeslagen embeddings vergelijken met embeddings van gokken ("is er een noot over een knieblessure?") en zien welke dichtbij zijn.
Lekkage 2: membership inference
Soms is het geheim niet wat een record zegt maar of het bestaat. Als de AI zoekfunctie van een kliniek alleen is gebouwd uit de aantekeningen van patiënten, dan onthult het leren van "de aantekening van deze persoon staat erin" al dat ze een patiënt zijn.
Membership inference: bepalen of een specifiek record deel uitmaakte van een dataset, door te kijken hoe een systeem erop reageert.
Hier is het idee simpel uitgelegd. Stel dat een zoektool een "similarity score" van 0 tot 1 geeft. Een aanvaller die al een kopie van een notitie heeft (bijvoorbeeld een gelekte e-mail) vraagt de tool om deze te vinden:
- Als de notitie is in de database, is de beste match score ongeveer 1.00, omdat het zichzelf matcht.
- Als de notitie niet daar is, is de beste match slechts vergelijkbaar, zeg 0.80.
Dat gat beantwoordt de vraag "is deze persoon hier?". Hetzelfde patroon verschijnt bij getrainde modellen: een model neigt naar meer zelfvertrouwen bij voorbeelden waarop het is getraind dan bij nieuwe voorbeelden, en een aanvaller kan dat verschil meten.
Defences
- Behandel embeddings als persoonlijke gegevens. Bescherm ze zoals de tekst waaruit ze kwamen: toegangsbescherming, versleuteling bij opslag, verwijdering wanneer de tekst wordt verwijderd.
- Redigeer voordat je het inbedt. De redacteur van de vorige les werkt hier ook: verwijder eerst namen en contactgegevens.
- Toon geen ruwe scores. Toon resultaten, of afgeronde banden zoals "goede match", zodat niemand de bijna perfecte zelf-match kan zien.
- Houd de index op het apparaat wanneer het voor de eigen notities van één persoon is. Niemand anders kan het opvragen.
- Voeg zorgvuldige ruis toe bij het trainen op data van veel mensen. Dit wordt differential privacy genoemd; het diepe deel van de cursus behandelt dit goed.
A veelvoorkomende misvatting
"We slaan alleen vectoren op, geen tekst, dus er worden geen persoonlijke gegevens bewaard." De vectoren zijn gemaakt om de betekenis te behouden. Als de betekenis persoonlijk was, zijn de vectoren ook persoonlijk.
Samenvatting
- Een embedding is een lijst van getallen die de betekenis van een tekst vastlegt, opgeslagen in een vector database voor zoeken.
- Embeddings kunnen de inhoud van de tekst lekken, en kunnen worden vergeleken met gokken.
- Membership inference vraagt "staat dit record in de data?", vaak door ongewoon perfecte overeenkomsten of zelfverzekerde antwoorden op te merken.
- Verdedig door eerst te redacteren, bescherm embeddings zoals de originele tekst, verberg ruwe scores en houd persoonlijke indexen op het apparaat.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.