Kurrikulum Leson 90 van 156 · Privaat KI
Privaat KI

Embeddings lek ook

Waarom dit saak maak Baie AI-funksies verander jou teks in lysse van nommers wat embeddings genoem word, en stoor dit dan in 'n databasis vir soektog. Dit is maklik om te dink "hulle is net nommers, nie persoonlike data nie". Hulle is nie net nommers nie: hulle kan verklik wat geskryf is, en of 'n spesifieke persoon se rekord in die data is of nie.

'n vingerafdruk van betekenis

Verbeeld 'n bibliotekaris wat, in plaas daarvan om boeke volgens titel te fileer, vir elk een 'n posisie op 'n reuse kaart gee: kookboeke in een hoek, reisgidses in 'n ander, boeke oor Italiaanse kookkuns naby albei. Twee boeke wat naby mekaar op die kaart is, gaan oor soortgelyke dinge. 'n embedding is daardie posisie, vir 'n stuk teks.

Embedding: 'n lys van getalle (dikwels honderde daarvan) wat 'n AI-model uit 'n teks produseer, sodat tekste met soortgelyke betekenisse soortgelyke lyste kry. Dit is soos 'n kaartposisie vir betekenis.

Vektor-databasis: 'n databasis wat embeddings stoor en vinnig vind wat die naaste aan 'n nuwe een is. Dit krag "soek volgens betekenis" en laat AI-assistente jou dokumente opsoek.

'n klein denkbeeldige voorbeeld met net drie nommers per teks (regte eenes het honderde):

notes = {
    "my knee hurts after running":   [0.91, 0.10, 0.02],
    "booked physio for my knee":     [0.88, 0.15, 0.05],
    "new recipe for lentil soup":    [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.

Lek 1: die nommers kan terugverander word in woorde

Omdat embeddings ontwerp is om betekenis vas te vang, kan enige iemand wat hulle het baie leer. Navorsers het getoon dat, met die regte gereedskap en toegang tot dieselfde model, baie van die oorspronklike woorde van kort tekste uit hul embeddings herbou kan word. Selfs sonder dit kan iemand jou gestoorde embeddings met embeddings van rase ("is daar enige nota oor 'n kniebesing?") vergelyk en sien watterne naby is.

Lek 2: lidmaatskapinferensie

Soms is die geheim nie wat 'n rekord sê nie maar of dit bestaan. As 'n kliniek se AI-soektog net uit pasiënte se notas gebou is, dan onthul die leer van "hierdie persoon se nota is daar" reeds dat hulle 'n pasiënt is.

Lidmaatskapinferensie: om uit te vind of 'n spesifieke rekord deel van 'n datastel was, deur te kyk hoe 'n stelsel daarop reageer.

Hier is die idee eenvoudig gemaak. Veronderstel 'n soekinstrument gee 'n "similarity score" van 0 tot 1 terug. 'n Aanvaller wat reeds 'n kopie van 'n nota het (sê, 'n gelekte e-pos) vra die instrument om dit te vind:

  • As die noot is in die databasis is, is die beste ooreenstemmingstelling ongeveer 1.00, omdat dit met homself ooreenstem.
  • As die nota nie nie daar is nie, is die beste ooreenstemming bloot soortgelyk, sê 0.80.

Da gap antwoord op die vraag "is hierdie persoon hier?". Dieselfde patroon verskyn met getoënde modelle: 'n model is gewoonlik meer seker van voorbeelde waarop dit getoën is as van nuwes, en 'n aanvaller kan daie verskil meet.

Verdedigings

  • Behandel embeddings as persoonlike data. Beskerm hulle soos die teks waaruit hulle kom: toegangsbeheer, enkripsie by rus, en skrapping wanneer die teks verwyder word.
  • Redige voordat jy dit inbed. Die redigeerder van die vorige les werk ook hier: verwyder name en kontakbesonderhede eerste.
  • Moenie rou tellinge wys nie. Wys resultate, of afgeronde bande soos "goeie pas", sodat niemand die byna-perfekte self-pas kan sien nie.
  • Hou die indeks op die toestel wanneer dit vir een persoon se eie notas is. Niemand anders kan dit opvra nie.
  • Voeg versigtige geraas by wanneer jy op baie mense se data oplei. Dit word differential privacy genoem; die diepste helfte van die kursus dek dit behoorlik.

A algemene wanbeleefdheid

"Ons stoor net vektore, nie teks nie, so geen persoonlike data word gestoor nie." Die vektore is gemaak om betekenis te bewaar. As die betekenis persoonlik was, is die vektore ook persoonlik.

Opsomming

  • 'n embedding is 'n lys van nommers wat die betekenis van 'n teks vasvang, gestoor in 'n vector database vir soektog.
  • Embeddings kan die inhoud van die teks verklik, en kan teen raaiskote vergelyk word.
  • Lidmaatskapinferensie vra "is hierdie rekord in die data?", dikwels deur ongewone perfekte ooreenkomste of selfversekerde antwoorde op te merk.
  • Verdedig deur eers te redigeer, beskerm embeddings soos die oorspronklike teks, verberg rou punte en hou persoonlike indekse op die toestel.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.