シラバス レッスン 156 中 134 · ブロックを超えるプライバシーの技術
ブロックを超えるプライバシーの技術

差分プライバシーをきちんと

なぜ大切か 「匿名の統計しか公開しません」はかつて安全に聞こえました。このコースの前のほうで、データセットへの巧みな問いでもひとりを特定できることを見ました。差分プライバシーは、それに厳しく測れる上限を設ける道具で、その中心の考えであるプライバシーの予算は、午後のうちに実装できるものです。

教材のコードで、実用ではありません:このモジュールのラボのランダムさは、採点を再現できるようシードが固定されていますが、実際のプライバシーのシステムでは決してそうしてはいけません。実際のシステムは、丸めやほかの微妙な漏れも扱う、検証済みの差分プライバシーのライブラリを使います。教材のコードを製品に写さないでください。

約束

あなたの答えありとなしで公開される調査を想像してください。2 つの公開された結果がほとんど同じに見えるなら、それを読む誰にも、あなたが参加したかどうかさえわからず、何と言ったかはなおさらわかりません。それが約束のすべてです。

差分プライバシー(DP):誰かひとりのデータが含まれていてもいなくても、分析の出力がほとんど変わらないという保証です。注意深く大きさを決めたランダムなノイズを加えることで実現します。

イプシロン:「ほとんど」がどれくらいかを示す数です。小さなイプシロン(例えば 0.1)はノイズが多く強いプライバシー、大きなイプシロン(例えば 5)はノイズが少なく弱いプライバシーを意味します。単純な件数では、ひとりが件数を変えられるのはせいぜい 1 なので、スケール 1 / epsilon のラプラスノイズを加えるとイプシロン DP になります。

予算

ここに落とし穴があります。同じノイズの入った問いを何度も尋ねて答えを平均すると、数学のレッスンで見たようにノイズは打ち消し合い、真の件数が現れます。なので答えのひとつひとつが少しずつ漏らし、その漏れは積み重なります。

合成:同じ人々についていくつかの問いに答えると、それぞれのイプシロンは足し合わされます。イプシロン 0.25 で 4 回答えると、合計 1.0 かかります。

プライバシーの予算:データセットに許す合計のイプシロンです。答えるたびにいくらか使います。予算がなくなったら、分析する人がどれだけ丁寧に頼んでも、答えるのをやめます。

プリペイドのカードを考えてください。問いごとに何かかかり、残高は減るだけで、断った問いには何もかかりません。あなたが作るのはその帳簿です。ノイズは練習の世界の laplace(scale, rng) から既製のものが来ます。

実世界のローカル DP とセントラル DP

ローカル DP:それぞれの端末が何かを送る 前に ノイズを加えるので、会社は決して真の値を持ちません(ランダム化回答はローカル DP です)。セントラル DP:信頼されたサーバーが真のデータを持ち、公開する結果にだけノイズを加えます。

Apple は 2016 年、誰かひとりが入力したものを集めずに、流行りの新しい言葉や絵文字のようなことを端末から知るためにローカル差分プライバシーを使うと発表しました。Google の初期のシステム RAPPOR(2014 年)もローカルで、自社のブラウザから統計を集めるのに使われました。ローカル DP はひとりあたり大量のノイズが要るので、とても大きな集団とかなりよくある値でしか役に立つ答えを出しません。オープンソースの差分プライバシーのライブラリ(2019 年)のような、Google が後に公開した仕事の多くはセントラルのモデルを使います。同じイプシロンでずっと少ないノイズで済みますが、生のデータについてサーバーを信頼する代価を払います。

どちらのモデルも「正解」ではありません。ローカル DP は会社からさえあなたを守り、セントラル DP はより正確な統計を出します。2 つ先のレッスンの安全な集計は、両方の良さをいくらか得るやり方のひとつです。

ほかの言語では

JavaScript での同じ予算の確認:

function spend(budget, epsilon) {
  if (epsilon <= 0) return false;
  if (budget.spent + epsilon > budget.total + 1e-9) return false;
  budget.spent += epsilon;
  budget.log.push(epsilon);
  return true;
}

そして Rust では、借用の規則が「断ったら何も変えない」をはっきりさせます:

fn spend(b: &mut Budget, eps: f64) -> bool {
    if eps <= 0.0 || b.spent + eps > b.total + 1e-9 { return false; }
    b.spent += eps;
    b.log.push(eps);
    true
}

なぜ 1e-9 なのか?

コンピューターは小数をおおよそで保存します:Python では 0.1 + 0.2 は 0.30000000000000004 です。小さな余裕がなければ、小さな歩みで予算全体をちょうど使い切ることが、誤って断られかねません。実際のライブラリはこれをもっと注意深く扱いますが、ここでは小さな余裕で十分です。

よくある誤解

「ノイズがあると公開された数は間違っているので、DP は役に立たない」。ノイズは傾向ではなく、ひとりを隠すための大きさです。412 の件数が 409 や 415 と公開されても、店にはどのページが人気かが伝わり、一方で、慎重さが要るページへの 31 人の訪問者の件数を使って、特定の人がそのひとりだったと確かめることはできません。

まとめ

  • DP は、誰かひとりがいてもいなくても結果がほとんど変わらないと約束し、イプシロンが「ほとんど」を測ります。
  • 件数では、スケール 1 / epsilon のラプラスノイズでイプシロン DP になります。
  • イプシロンは問いをまたいで足し合わされるので、予算を記録して守らなければならず、断ることには何もかかりません。
  • ローカル DP(端末でのノイズ)は誰も信頼しませんが巨大な集団が要り、セントラル DP はより正確ですがサーバーを信頼します。
あなたの番

プライバシーの予算を管理する 4 つの関数を書いてください。make_budget(total) は {"total": total, "spent": 0.0, "log": []} を返します。remaining(budget) は total から spent を引いた値を返します。spend(budget, epsilon) は、epsilon が 0 より大きい有限の数でない場合(0、負、nan、無限大:すり抜けた nan は spent を nan にし、その後のすべての確認が通るので、予算が決して尽きなくなります)、または使うと spent が total を 1e-9 より多く超える場合は、False を返して何も変えません。そうでなければ epsilon を spent に足し、log に追加して True を返します。noisy_count(true_count, epsilon, budget, rng) は、spend が断れば None を、そうでなければ true_count + laplace(1 / epsilon, rng) を返します。採点されるのは帳簿で、正確なノイズの入った数ではありません。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。