シラバス レッスン 156 中 131 · 端末ではなく、人を追跡する
端末ではなく、人を追跡する

身元のグラフ

なぜ大切か ポイントカードはあなたのメールアドレスを知っています。買い物のアプリは電話を知っています。配送の会社は住所を知っています。どれも単独では全体像ではありませんが、3 つすべてを買うデータブローカーは、それをあなたについてのひとつの記録にまとめられます。小さな版を自分で作れば、どの共有の細部が結びつけを行い、だからどの細部の共有をやめればよいかが正確にわかります。

糸の網

記録ごとに 1 枚、索引カードを留めた掲示板を思い浮かべてください。2 枚のカードがメールアドレス、電話番号、端末の ID、家の住所を共有するたびに、その間に糸を結びます。終わったとき、糸で結ばれたカードのもつれは、鎖がどれだけ長くても、どれもひとりの人です。

データブローカー:人についての情報を集め、買い、売る会社で、ふつうはそれを一度も聞いたことのない人についてのものです。

身元のグラフ:多くの記録(メールアドレス、電話、端末、住所)をひとりの人に結びつける、ブローカーの地図です。数学では グラフ は単に、線(共有の細部)で結ばれた点(ここでは記録)です。

鎖が巧妙な部分です。カード A はカード B とメールアドレスを共有します。カード B はカード C と電話を共有します。A と C には何の共通点もないのに、同じもつれに入ります。こうして、ニュースレターの登録が、どちらも相手のデータを一度も見ないまま、電話のゲームに結びつけられるのです。

練習用の記録

broker_records() は、いくつかの情報源からのでっち上げの記録を返します:

{"id": "r014", "source": "survey", "name": "Sam Smith",
 "email": "  SAM.SMITH88@MAIL.EXAMPLE ", "phone": "+44 7700 910283",
 "device": None, "address": None}

どの細部も欠けていることがあります(None)。メールアドレスは変な空白や大文字で届くので、まず 正規化 しなければなりません。.strip() で切り詰め、小文字にします。電話番号は数字だけを残すべきなので、「+44 7700 910283」と「447700910283」が一致します。ch.isdigit() は、文字が数字かどうかを教えてくれます。

糸をたどる

3 つの手順で作ります:

  1. 索引:各 (field, value) の組から、それを持つ記録の ID への辞書。同じキーの下の 2 つの ID は、その細部を共有しています。
  2. 隣り:各記録の ID について、何かを共有する ID の集合。
  3. たどる:誰も訪れていない記録から始め、to_visit のリストを保ち、そこから ID を取り出しては、見たと印を付け、その隣りを加えることを繰り返します。届いたものすべてがひとつのまとまりです。
to_visit = ["r001"]
while to_visit:              # keep going while the list is not empty
    current = to_visit.pop() # take the last id off the list
    ...
ほかの言語では

ブローカーや分析者は、たどる代わりに union-find と呼ばれる構造をよく使います。JavaScript で:

const parent = {};
// every record starts as its own group: parent[id] = id
for (const r of records) parent[r.id] = r.id;
const find = x => (parent[x] === x ? x : (parent[x] = find(parent[x])));
const union = (a, b) => { parent[find(a)] = find(b); };
// for each shared (field, value): union(firstIdWithIt, thisId)

そして同じものを Go で:

func find(parent map[string]string, x string) string {
    for parent[x] != x {
        x = parent[x]
    }
    return x
}

誘われやすい間違い

下のスクリプトは name でも結びつけます。人の数が減るのを見てください。「Sam Smith」という名前の 2 人の違う人が、ひとりに合体されます。本物のブローカーもこの種の間違いをし、それが人についてのファイルがしばしば間違っている理由のひとつです。間違った記録でも、売られ、それに基づいて行動されえます。

防御

結びつけは、あなたが繰り返す細部を通して起こります。店やニュースレターごとに違うメールのエイリアスを使い(多くのメールのサービスが用意しています)、電話番号は本当に必要なときだけ渡し、ひとつのアカウントを多くのサイトに渡す「〜でログイン」のボタンを避けてください。ブローカーが糸を引くのは止められませんが、一致するカードを減らすことはできます。

まとめ

  • 身元のグラフは、何かの細部を共有する記録を結びつけ、共有の細部の鎖は、直接は何も共有しない記録も結びつけます。
  • 正規化(切り詰め、小文字にし、電話の数字を残す)こそが、雑然としたデータを一致させるものです。
  • 名前のような弱いキーは違う人々を合体させるので、ブローカーのファイルには間違いが含まれます。
  • 繰り返す細部が少ないほど(エイリアス、電話なし、別々のログイン)、結びつけも少なくなります。
あなたの番

2 つの関数を書いてください。normalise(field, value) は None には None を返し、そうでなければ値の空白を除いて小文字にし、field が "phone" なら数字だけを残し、何も残らなければ None を返します。link_records(records, keys) は、人ごとにひとつの、記録の ID の集合のリストを返します。2 つの記録は、keys のどれかの項目について正規化した値を、直接、またはほかの記録の鎖を通して共有するとき、同じ集合に入ります。どの記録の ID も、ちょうどひとつの集合に現れます。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。