سرفصل‌ها درس 55 از 156 · حریم خصوصی را صادقانه اندازه بگیرید
حریم خصوصی را صادقانه اندازه بگیرید

هش‌کردن گمنام‌سازی نیست

چرا مهم است شرکت‌ها اغلب می‌گویند فقط نشانی‌های ایمیل «هش‌شده» را به اشتراک می‌گذارند، انگار این آن‌ها را گمنام می‌کرد. در این آزمایشگاه یک فهرست هش‌شده را در کسری از ثانیه، روی ایمیل‌های مصنوعی، باز می‌کنید. وقتی آن را دیدید، «ما فقط دادهٔ هش‌شده به اشتراک می‌گذاریم» را بسیار متفاوت خواهید خواند.

یک مخلوط‌کن یک‌طرفه

یک هش را مثل یک مخلوط‌کن در نظر بگیرید: یک توت‌فرنگی بیندازید و هر بار همان اسموتی صورتی را می‌گیرید، اما نمی‌توانید اسموتی را دوباره به توت‌فرنگی تبدیل کنید. ایمن به نظر می‌رسد. گیر کار: اگر حدس بزنید یک توت‌فرنگی بود، خودتان یکی را مخلوط می‌کنید و مقایسه می‌کنید.

هش (hash): تابعی که هر متنی را به اثر انگشتی با طول ثابت تبدیل می‌کند، که برای ورودی یکسان هر بار یکسان است. SHA-256 برابر 64 نویسهٔ شانزده‌شانزدهی می‌دهد. نمی‌توانید آن را وارونه اجرا کنید.

جست‌وجوی فراگیر (brute force): امتحان‌کردن هر ورودی ممکن تا وقتی یکی جور شود. هر وقت فهرست ورودی‌های ممکن آن‌قدر کوچک باشد که بتوان امتحانش کرد کار می‌کند.

چرا گمنام نیست

ایمیل‌ها دقیقاً هش می‌شوند تا دو شرکت بتوانند آن‌ها را تطبیق دهند: هر دو sam.smith@mail.example را هش می‌کنند و همان 64 نویسه را می‌گیرند. شناسه‌های ایمیل هش‌شده در تبلیغات همین‌طور کار می‌کنند. هش یک شناسهٔ پایدار برای شخص است، نه یک لباس مبدل.

و ایمیل‌ها آن‌قدرها هم زیاد نیستند. سامانهٔ ایمیل تمرینی ما فقط first.last@domain یا firstNN@domain را می‌دهد، از 30 نام کوچک، 30 نام خانوادگی و 3 دامنه: در مجموع 11,610 نشانی ممکن. هش‌کردن همهٔ آن‌ها یک چشم به هم زدن طول می‌کشد. فضاهای نشانی واقعی بسیار بزرگ‌ترند، اما دلالان داده از قبل فهرست‌های عظیمی از نشانی‌های واقعی دارند، پس فقط آنچه دارند را هش می‌کنند و مقایسه می‌کنند.

برنامه

  1. normalise(email): فاصله‌ها را حذف کنید و به حروف کوچک تبدیل کنید. همه پیش از هش‌کردن این کار را می‌کنند، پس Sam.Smith@Mail.Example و sam.smith@mail.example جور می‌شوند.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode متن را به بایت تبدیل می‌کند، که همان چیزی است که تابع‌های هش می‌خورند.
  3. all_candidates(): روی دامنه‌ها، نام‌های کوچک و نام‌های خانوادگی حلقه بزنید تا هر نشانی ممکن را فهرست کنید.
  4. crack(hashes): یک dict از هش هر نامزد به خود نامزد بسازید، یک بار، سپس هر هش نشت‌کرده را جست‌وجو کنید. یک بار ساختن مهم است: هش‌کردن 11,610 نشانی برای هر یک از 200 هش نشت‌کرده 200 برابر کندتر می‌بود.

جدول جست‌وجو (lookup table): یک dict که از پیش از پاسخ‌هایی که ممکن است لازم داشته باشید ساخته شده، تا هر پرسش در یک گام پاسخ داده شود. مهاجمان آن‌ها را برای گذرواژه‌های رایج و فهرست‌های ایمیل می‌سازند.

یک تصور نادرست رایج

«SHA-256 شکست‌ناپذیر است، پس دادهٔ هش‌شده ایمن است.» SHA-256 در کار خودش خوب است: هیچ‌کس آن را وارونه اجرا نمی‌کند. ضعف در ورودی است: وقتی ورودی‌های ممکن را بتوان فهرست کرد، هرگز لازم نیست آن را وارونه اجرا کنید. شماره تلفن‌ها نمونهٔ شناخته‌شده‌ای‌اند: همهٔ شماره‌های یک کشور در چند میلیارد احتمال جا می‌شوند، آن‌قدر کم که یک رایانهٔ سریع بتواند همه را امتحان کند.

یادآوری: این فقط روی نشانی‌های مصنوعی اجرا می‌شود. انجام آن روی دادهٔ آدم‌های واقعی دقیقاً همان آسیبی است که این ماژول به شما یاد می‌دهد جلویش را بگیرید، و درس بعد دفاع است.

امتحان کنید زمانش را بگیرید: فراخوانی crack خود را پیش و پس با time.perf_counter() بپیچید. در بیشتر لپ‌تاپ‌ها برای 11,610 نامزد بسیار کمتر از یک ثانیه تمام می‌شود.

در زبان‌های دیگر

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

خلاصه

  • یک هش برای ورودی یکسان یکسان است، که آن را به یک شناسهٔ پایدار تبدیل می‌کند، نه یک لباس مبدل.
  • وقتی ورودی‌های ممکن را بتوان فهرست کرد، همه را هش کنید و مقایسه کنید: جست‌وجوی فراگیر.
  • جدول جست‌وجو را یک بار بسازید، آن‌وقت هر هش یک جست‌وجوی dict تکی است.
  • «ما فقط ایمیل‌های هش‌شده را به اشتراک می‌گذاریم» همچنان یک شخص را به اشتراک می‌گذارد. دفاع در درس بعد است.
نوبت شما

normalise(email) (strip و حروف کوچک)، sha256_hex(text) (digest شانزده‌شانزدهی SHA-256 متن UTF-8)، all_candidates() (فهرستی از هر نشانی first.last@domain و firstNN@domain، با NN از 1 تا 99، با استفاده از FIRST_NAMES، LAST_NAMES و MAIL_DOMAINS) و crack(hashes) (یک dict {hash: email} برای هر هشی که بتوانید بازیابی کنید) را بنویسید. سپس found = crack(leaked) را تنظیم کنید.

مشکلی در این درس دیدید؟ گزارشش کنید · دربارهٔ این درس بپرسید

این تمرین به‌زودی باز می‌شود

درس پیش از آن را تمام کنید تا این یکی باز شود. کل دوره رایگان است، حساب کاربری لازم نیست، و می‌توانید همین الان این درس را بخوانید.