Chương trình học Bài 55 trên tổng số 156 · Đo quyền riêng tư, một cách trung thực
Đo quyền riêng tư, một cách trung thực

Băm không phải là ẩn danh hóa

Vì sao điều này quan trọng Các công ty thường nói họ chỉ chia sẻ địa chỉ email "đã băm", như thể điều đó làm chúng ẩn danh. Trong bài thực hành này bạn gỡ một danh sách đã băm trong một phần giây, trên các email tổng hợp. Một khi đã thấy, bạn sẽ đọc câu "chúng tôi chỉ chia sẻ dữ liệu đã băm" rất khác.

Một máy xay một chiều

Hãy nghĩ một hàm băm như một máy xay sinh tố: cho vào một quả dâu và bạn nhận cùng một ly sinh tố hồng mỗi lần, nhưng bạn không thể biến ly sinh tố trở lại thành quả dâu. Nghe có vẻ an toàn. Điểm vướng: nếu bạn ngờ rằng đó là một quả dâu, bạn tự xay một quả và so sánh.

Hàm băm (hash): một hàm biến bất kỳ văn bản nào thành một dấu vân tay có độ dài cố định, giống nhau mỗi lần cho cùng đầu vào. SHA-256 cho 64 ký tự hex. Bạn không thể chạy nó ngược lại.

Vét cạn (brute force): thử mọi đầu vào có thể cho tới khi một cái khớp. Nó hiệu quả bất cứ khi nào danh sách các đầu vào có thể đủ nhỏ để thử.

Vì sao nó không ẩn danh

Email được băm chính là để hai công ty có thể khớp chúng: cả hai băm sam.smith@mail.example và nhận cùng 64 ký tự. Các ID email đã băm trong quảng cáo hoạt động theo cách này. Hàm băm là một ID ổn định cho người đó, không phải một lớp ngụy trang.

Và cũng không có nhiều email đến vậy. Hệ thống thư luyện tập của ta chỉ phát ra first.last@domain hoặc firstNN@domain, từ 30 tên, 30 họ và 3 tên miền: tổng cộng 11.610 địa chỉ có thể. Băm tất cả chúng chỉ mất một cái chớp mắt. Không gian địa chỉ thật lớn hơn nhiều, nhưng các nhà môi giới dữ liệu đã nắm những danh sách khổng lồ các địa chỉ thật, nên họ chỉ cần băm những gì họ có và so sánh.

Kế hoạch

  1. normalise(email): bỏ dấu cách và chuyển thành chữ thường. Ai cũng làm việc này trước khi băm, nên Sam.Smith@Mail.Example và sam.smith@mail.example khớp nhau.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode biến văn bản thành bytes, thứ mà các hàm băm ăn.
  3. all_candidates(): lặp qua tên miền, tên và họ để liệt kê mọi địa chỉ có thể.
  4. crack(hashes): dựng một dict từ hàm băm của mỗi ứng viên tới ứng viên đó, một lần, rồi tra từng hàm băm bị lộ. Dựng nó một lần là quan trọng: băm 11.610 địa chỉ cho mỗi một trong 200 hàm băm bị lộ sẽ chậm hơn 200 lần.

Bảng tra (lookup table): một dict dựng sẵn từ những đáp án bạn có thể cần, để mỗi câu hỏi được trả lời trong một bước. Kẻ tấn công dựng chúng cho các mật khẩu phổ biến và danh sách email.

Một hiểu lầm phổ biến

"SHA-256 không thể phá, nên dữ liệu đã băm là an toàn." SHA-256 làm tốt việc của nó: không ai chạy nó ngược lại. Điểm yếu là đầu vào: khi các đầu vào có thể liệt kê được, bạn không bao giờ cần chạy nó ngược lại. Số điện thoại là một trường hợp nổi tiếng: mọi số ở một quốc gia vừa trong vài tỉ khả năng, đủ ít để một máy tính nhanh thử hết từng cái.

Nhắc lại: việc này chỉ bao giờ chạy trên các địa chỉ tổng hợp. Làm điều đó với dữ liệu của người thật chính là tác hại mà mô-đun này dạy bạn ngăn chặn, và bài tiếp theo là cách phòng thủ.

Tự thử Đo thời gian: bọc lời gọi crack của bạn bằng time.perf_counter() trước và sau. Trên phần lớn máy tính xách tay nó xong trong chưa tới một giây với 11.610 ứng viên.

Trong các ngôn ngữ khác

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

Tóm tắt

  • Một hàm băm giống nhau cho cùng đầu vào, điều đó làm nó thành một ID ổn định, không phải một lớp ngụy trang.
  • Khi các đầu vào có thể liệt kê được, băm tất cả và so sánh: vét cạn.
  • Dựng bảng tra một lần, rồi mỗi hàm băm là một lần tra dict.
  • "Chúng tôi chỉ chia sẻ email đã băm" vẫn là chia sẻ một con người. Cách phòng thủ ở bài tiếp theo.
Đến lượt bạn

Viết normalise(email) (strip và chuyển thành chữ thường), sha256_hex(text) (digest hex SHA-256 của văn bản UTF-8), all_candidates() (một list mọi địa chỉ first.last@domain và firstNN@domain, NN từ 1 tới 99, dùng FIRST_NAMES, LAST_NAMES và MAIL_DOMAINS) và crack(hashes) (một dict {hash: email} cho mỗi hàm băm bạn khôi phục được). Rồi đặt found = crack(leaked).

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.