신원 그래프
왜 중요한가 포인트 카드는 이메일을 알아요. 쇼핑 앱은 휴대폰을 알아요. 배달 회사는 주소를 알아요. 어느 것도 혼자서는 전체 그림이 아니지만, 셋을 모두 사는 데이터 브로커는 그것들을 여러분에 대한 기록 하나로 이을 수 있어요. 작은 버전을 직접 만들면 어떤 공유된 세부가 잇기를 하는지, 그래서 어떤 세부를 그만 공유해야 하는지 정확히 보여요.
실로 엮은 그물
기록마다 하나씩 색인 카드가 꽂힌 게시판을 상상해 보세요. 두 카드가 이메일 주소, 전화번호, 기기 ID, 집 주소를 공유할 때마다 그 사이에 실을 묶어요. 다 하고 나면, 실로 이어진 카드 뭉치 하나하나가, 사슬이 아무리 길어도, 한 사람이에요.
데이터 브로커: 사람들에 대한 정보를 모으고, 사고, 파는 회사. 보통 그 회사를 들어 본 적도 없는 사람들에 대해서요.
신원 그래프: 많은 기록(이메일, 전화, 기기, 주소)을 한 사람에게 잇는 브로커의 지도. 수학에서 그래프는 그냥 선(공유된 세부)으로 이어진 점(여기서는 기록)이에요.
영리한 부분은 사슬이에요. 카드 A는 카드 B와 이메일을 공유해요. 카드 B는 카드 C와 전화를 공유해요. A와 C에는 공통점이 없지만, 같은 뭉치에 들어가요. 이렇게 뉴스레터 가입이 휴대폰의 게임과, 어느 쪽도 상대의 데이터를 본 적 없이 이어질 수 있어요.
연습 기록
broker_records()는 여러 출처의 지어낸 기록을 반환해요:
{"id": "r014", "source": "survey", "name": "Sam Smith",
"email": " SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
"device": None, "address": None}
어떤 세부든 없을 수 있어요(None). 이메일은 이상한 공백과 대문자로 들어오니 먼저 정규화해야 해요: .strip()으로 다듬고 소문자로. 전화번호는 숫자만 남겨야 "+44 7700 910283"과 "447700910283"이 맞아요. ch.isdigit()는 글자가 숫자인지 알려 줘요.
실 따라가기
세 단계로 만드세요:
- 색인: 각
(field, value)쌍에서 그걸 가진 기록 id로 가는 dict. 같은 키 아래의 두 id는 그 세부를 공유해요. - 이웃: 각 기록 id에 대해, 무엇이든 공유하는 id의 집합.
- 걷기: 아무도 방문하지 않은 기록에서 시작해
to_visit리스트를 두고, 거기서 id를 하나씩 꺼내 본 것으로 표시하고, 그 이웃을 더하기를 되풀이해요. 닿는 모든 것이 한 묶음이에요.
to_visit = ["r001"]
while to_visit: # keep going while the list is not empty
current = to_visit.pop() # take the last id off the list
...
다른 언어로
브로커와 분석가는 걷기 대신 union-find라는 구조를 자주 써요. JavaScript로:
const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)그리고 같은 걸 Go로:
func find(parent map[string]string, x string) string {
for parent[x] != x {
x = parent[x]
}
return x
}빠지기 쉬운 실수
아래쪽 스크립트는 name으로도 이어요. 사람 수가 줄어드는 걸 보세요: "Sam Smith"라는 서로 다른 두 사람이 하나로 합쳐져요. 실제 브로커도 이런 오류를 내고, 그게 사람들에 대한 그들의 파일이 자주 틀리는 이유 중 하나예요. 틀린 기록도 여전히 팔리고 그걸 근거로 행동할 수 있어요.
방어
잇기는 여러분이 되풀이하는 세부를 통해 일어나요. 가게나 뉴스레터마다 다른 이메일 별칭을 쓰고(많은 메일 서비스가 제공해요), 전화번호는 정말 필요할 때만 주고, 한 계정을 여러 사이트에 넘기는 "...로 로그인" 버튼을 피하세요. 브로커가 실을 긋는 걸 막을 수는 없지만, 맞는 카드를 덜 줄 수는 있어요.
요약
- 신원 그래프는 어떤 세부든 공유하는 기록을 잇고, 공유된 세부의 사슬은 직접 공유하는 게 없는 기록도 이어요.
- 정규화(다듬기, 소문자로, 전화 숫자만 남기기)가 지저분한 데이터를 맞게 해요.
- 이름 같은 약한 키는 다른 사람들을 합치니, 브로커 파일에는 오류가 있어요.
- 되풀이되는 세부가 적을수록(별칭, 전화 없음, 따로 로그인) 잇기도 적어요.
함수 둘을 쓰세요. normalise(field, value)는 None에는 None을 반환하고, 아니면 공백을 다듬고 값을 소문자로 하고, field가 "phone"이면 숫자만 남기고, 남은 게 없으면 None을 반환해요. link_records(records, keys)는 사람마다 하나씩, 기록 id 집합의 리스트를 반환해요: 두 기록은 keys의 어떤 필드에서든 정규화된 값을 직접 또는 다른 기록의 사슬을 통해 공유하면 같은 집합에 있어요. 모든 기록 id는 정확히 한 집합에 나타나요.
이 연습은 곧 열려요
앞의 레슨을 마치면 이 레슨이 열려요. 강좌 전체가 무료이고 계정도 필요 없으며, 이 레슨은 지금 바로 읽을 수 있어요.
이 브라우저가 learn.floati.life의 쿠키를 막고 있어서, 여기서 마친 레슨들이 순서대로 열리지 않아요. 이 사이트의 쿠키를 허용하고 새로고침하세요.