Grafos de identidad
Por qué importa Una tarjeta de fidelidad conoce tu correo. Una aplicación de compras conoce tu teléfono. Una empresa de reparto conoce tu dirección. Ninguna de ellas por sí sola tiene la imagen completa, pero un corredor de datos que compra las tres puede unirlas en un solo registro sobre ti. Construir tú mismo una versión diminuta muestra exactamente qué dato compartido hace la unión, y por tanto qué dato dejar de compartir.
Una red de hilos
Imagina un tablón de corcho con fichas, una por registro. Cada vez que dos fichas comparten una dirección de correo, un número de teléfono, un ID de dispositivo o una dirección postal, atas un hilo entre ellas. Cuando terminas, cada maraña de fichas unidas por hilos, por larga que sea la cadena, es una persona.
Corredor de datos: una empresa que recoge, compra y vende información sobre personas, normalmente personas que nunca han oído hablar de ella.
Grafo de identidad: el mapa de un corredor que relaciona muchos registros (correos, teléfonos, dispositivos, direcciones) con una persona. En matemáticas, un grafo son simplemente puntos (aquí, registros) unidos por líneas (datos compartidos).
La cadena es lo ingenioso. La ficha A comparte un correo con la ficha B. La ficha B comparte un teléfono con la ficha C. A y C no tienen nada en común, y aun así acaban en la misma maraña. Así es como una suscripción a un boletín puede acabar unida a un juego de tu teléfono sin que ninguno de los dos vea nunca los datos del otro.
Los registros de práctica
broker_records() devuelve registros inventados de varias fuentes:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
Cualquier dato puede faltar (None). Los correos llegan con espacios y mayúsculas raros, así que primero hay que normalizarlos: quitarles los espacios con .strip() y pasarlos a minúsculas. Los números de teléfono deberían conservar solo sus dígitos, para que "+44 7700 910283" y "447700910283" coincidan. ch.isdigit() te dice si un carácter es un dígito.
Seguir el hilo
Constrúyelo en tres pasos:
- Índice: un diccionario de cada par
(field, value)a los id de registro que lo tienen. Dos id bajo la misma clave comparten ese dato. - Vecinos: para cada id de registro, el set de id con los que comparte algo.
- Recorrido: empieza en un registro que nadie haya visitado, lleva una lista
to_visity, una y otra vez, saca un id de ella, márcalo como visto y añade sus vecinos. Todo lo que alcances es un grupo.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
En otros lenguajes
Los corredores y los analistas suelen usar una estructura llamada union-find en lugar de recorrer. En JavaScript:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)Y lo mismo en Go:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}Un error tentador
El script del final también une por name. Fíjate en cómo baja el número de personas: dos personas distintas llamadas "Sam Smith" quedan fusionadas en una. Los corredores reales también cometen este tipo de error, y es una de las razones por las que sus fichas sobre la gente a menudo son erróneas. Un registro erróneo aun así se puede vender y usar.
La defensa
Las uniones se hacen a través de los datos que repites. Usa un alias de correo distinto para cada tienda o boletín (muchos servicios de correo los ofrecen), da un número de teléfono solo cuando de verdad haga falta y evita los botones de "iniciar sesión con" que entregan una misma cuenta a muchos sitios. No puedes impedir que un corredor ate hilos, pero puedes darle menos fichas que coincidan.
Resumen
- Un grafo de identidad une los registros que comparten algún dato, y las cadenas de datos compartidos unen registros que no comparten nada directamente.
- Normalizar (quitar espacios, pasar a minúsculas, conservar los dígitos del teléfono) es lo que hace coincidir datos desordenados.
- Las claves débiles, como los nombres, fusionan a personas distintas, así que las fichas de los corredores contienen errores.
- Menos datos repetidos (alias, sin teléfono, sesiones separadas) significa menos uniones.
Escribe dos funciones. normalise(field, value) devuelve None para None; si no, quita los espacios y pasa el valor a minúsculas, conserva solo los dígitos cuando field es "phone", y devuelve None si no queda nada. link_records(records, keys) devuelve una lista de sets de id de registro, un set por persona: dos registros están en el mismo set cuando comparten un valor normalizado en algún campo de keys, directamente o a través de una cadena de otros registros. Cada id de registro aparece exactamente en un set.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.