Los embeddings también filtran
Por qué importa Muchas funciones de IA convierten tu texto en listas de números llamadas embeddings, y luego las guardan en una base de datos para hacer búsquedas. Es fácil pensar "solo son números, no son datos personales". No son solo números: pueden revelar lo que se escribió, y si el registro de una persona concreta está o no en los datos.
Una huella del significado
Imagina una bibliotecaria que, en lugar de ordenar los libros por título, da a cada uno una posición en un mapa enorme: los libros de cocina en una esquina, las guías de viaje en otra, los libros sobre cocina italiana cerca de las dos. Dos libros juntos en el mapa tratan de cosas parecidas. Un embedding es esa posición, para un trozo de texto.
Embedding: una lista de números (a menudo cientos) que un modelo de IA produce a partir de un texto, de modo que los textos con significados parecidos reciben listas parecidas. Es como una posición en un mapa del significado.
Base de datos vectorial: una base de datos que guarda embeddings y encuentra rápido los más cercanos a uno nuevo. Hace funcionar la "búsqueda por significado" y permite a los asistentes de IA consultar tus documentos.
Un ejemplo diminuto e inventado con solo tres números por texto (los reales tienen cientos):
notes = {
"my knee hurts after running": [0.91, 0.10, 0.02],
"booked physio for my knee": [0.88, 0.15, 0.05],
"new recipe for lentil soup": [0.03, 0.12, 0.95],
}
# The two knee notes sit close together; the soup is far away.
Fuga 1: los números se pueden volver a convertir en palabras
Como los embeddings están pensados para captar el significado, quien los tenga puede saber mucho. Los investigadores han mostrado que, con las herramientas adecuadas y acceso al mismo modelo, se puede reconstruir buena parte de la redacción original de textos cortos a partir de sus embeddings. Incluso sin eso, alguien puede comparar los embeddings que guardas con los embeddings de unas suposiciones ("¿hay alguna nota sobre una lesión de rodilla?") y ver cuáles están cerca.
Fuga 2: la inferencia de pertenencia
A veces el secreto no es lo que dice un registro sino si existe. Si la búsqueda con IA de una clínica se construyó solo con las notas de los pacientes, saber que "la nota de esta persona está ahí" ya revela que es paciente.
Inferencia de pertenencia: averiguar si un registro concreto formaba parte de un conjunto de datos, observando cómo responde un sistema ante él.
Aquí tienes la idea simplificada. Supón que una herramienta de búsqueda devuelve una "puntuación de similitud" de 0 a 1. Un atacante que ya tiene una copia de una nota (por ejemplo, un correo filtrado) le pide a la herramienta que la encuentre:
- Si la nota está en la base de datos, la mejor coincidencia puntúa alrededor de 1.00, porque coincide consigo misma.
- Si la nota no está, la mejor coincidencia solo es parecida, por ejemplo 0.80.
Esa diferencia responde a la pregunta "¿está esta persona aquí?". El mismo patrón aparece con los modelos entrenados: un modelo suele estar más seguro con los ejemplos con los que se entrenó que con los nuevos, y un atacante puede medir esa diferencia.
Defensas
- Trata los embeddings como datos personales. Protégelos como el texto del que salieron: control de acceso, cifrado en reposo y borrado cuando se borra el texto.
- Oculta los datos antes de crear el embedding. El ocultador de la lección anterior también funciona aquí: quita primero los nombres y los datos de contacto.
- No muestres las puntuaciones en bruto. Muestra los resultados, o franjas redondeadas como "buena coincidencia", para que nadie pueda detectar la coincidencia casi perfecta consigo misma.
- Mantén el índice en el propio dispositivo cuando sea para las notas de una sola persona. Nadie más puede consultarlo.
- Añade un ruido cuidadoso cuando entrenes con los datos de muchas personas. Esto se llama privacidad diferencial; la parte profunda del curso lo trata a fondo.
Una idea equivocada muy común
"Solo guardamos vectores, no texto, así que no se guarda ningún dato personal." Los vectores se hicieron para conservar el significado. Si el significado era personal, los vectores también lo son.
Resumen
- Un embedding es una lista de números que capta el significado de un texto, guardada en una base de datos vectorial para hacer búsquedas.
- Los embeddings pueden filtrar el contenido del texto, y se pueden comparar con suposiciones.
- La inferencia de pertenencia pregunta "¿está este registro en los datos?", a menudo detectando coincidencias inusualmente perfectas o respuestas muy seguras.
- Defiéndete ocultando los datos primero, protegiendo los embeddings como el texto original, escondiendo las puntuaciones en bruto y manteniendo los índices personales en el propio dispositivo.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.