Silabus Pelajaran 55 dari 156 · Ukur privasi, jujur saja.
Ukur privasi, jujur saja.

Hashing bukan anonimisasi

Kenapa ini penting Perusahaan sering bilang mereka hanya membagikan alamat email yang sudah "hashed", seolah itu membuatnya anonim. Di lab ini kamu akan membalikkan daftar hashed dalam sekejap, pada email sintetis. Begitu kamu melihatnya, kamu akan membaca "kami hanya membagikan data hashed" dengan cara yang sangat berbeda.

A blender satu arah

Bayangkan hash seperti blender: masukkan stroberi dan kamu akan dapat smoothie merah muda yang sama setiap saat, tapi kamu tidak bisa mengubah smoothie kembali menjadi stroberi. Kedengarannya aman. Masalahnya: jika kamu curiga itu adalah stroberi, kamu blender satu sendiri dan bandingkan.

Hash: fungsi yang mengubah teks apa pun menjadi sidik jari dengan panjang tetap, selalu sama untuk input yang sama. SHA-256 menghasilkan 64 karakter hex. Kamu tidak bisa menjalankannya terbalik.

Brute force: mencoba setiap input yang mungkin sampai ada yang cocok. Ini berhasil kapan pun daftar input yang mungkin cukup kecil untuk dicoba.

Kenapa ini tidak anonim

Email di-hash dengan tepat supaya dua perusahaan bisa mencocokkannya: keduanya melakukan hash sam.smith@mail.example dan mendapatkan 64 karakter yang sama. ID email yang di-hash dalam periklanan bekerja seperti ini. Hash adalah ID yang stabil untuk orang tersebut, bukan penyamaran.

Dan jumlah emailnya tidak terlalu banyak. Sistem email latihan kita hanya memberikan first.last@domain atau firstNN@domain, dari 30 nama depan, 30 nama belakang dan 3 domain: total ada 11,610 alamat yang mungkin. Melakukan hashing untuk semuanya hanya butuh sekejap. Ruang alamat asli jauh lebih besar, tapi broker data sudah memegang daftar alamat asli yang sangat besar, jadi mereka hanya melakukan hashing pada apa yang mereka punya dan membandingkannya.

Rencananya

  1. normalise(email): hapus spasi dan ubah ke huruf kecil. Semua orang melakukan ini sebelum hashing, jadi Sam.Smith@Mail.Example dan sam.smith@mail.example cocok.
  2. sha256_hex(text): hashlib.sha256(text.encode("utf-8")).hexdigest(). .encode mengubah teks menjadi bytes, yang merupakan apa yang dimakan oleh fungsi hash.
  3. all_candidates(): iterasi domain, nama depan dan nama belakang untuk mendaftarkan setiap alamat yang mungkin.
  4. crack(hashes): buat dict dari hash setiap kandidat ke kandidatnya, sekali, lalu cari setiap hash yang bocor. Membuatnya sekali itu penting: melakukan hashing 11,610 alamat untuk setiap satu dari 200 hash yang bocor akan 200 kali lebih lambat.

Tabel lookup: sebuah dict yang dibuat sebelumnya dari jawaban yang mungkin kamu butuhkan, jadi setiap pertanyaan dijawab dalam satu langkah. Penyerang membuatnya untuk kata sandi umum dan daftar email.

Kesalahpahaman umum

"SHA-256 tidak bisa dipecahkan, jadi data yang di-hash aman." SHA-256 bagus untuk fungsinya: tidak ada yang menjalankannya secara terbalik. Kelemahannya ada pada input: saat input yang mungkin bisa didaftar, kamu tidak perlu menjalankannya secara terbalik. Nomor telepon adalah contoh yang terkenal: semua nomor di satu negara muat ke dalam beberapa miliar kemungkinan, cukup sedikit untuk komputer cepat mencoba semuanya.

Pengingat: ini hanya berjalan pada alamat sintetis. Melakukannya pada data orang sungguhan adalah bahaya yang diajarkan modul ini untuk dicegah, dan pelajaran berikutnya adalah pertahanannya.

Coba sendiri Hitung waktunya: bungkus crack call kamu dengan time.perf_counter() sebelum dan sesudah. Di kebanyakan laptop, ini selesai kurang dari satu detik untuk 11,610 kandidat.

Di bahasa lain

JavaScript (Node):

const { createHash } = require("crypto");
const sha256 = t => createHash("sha256").update(t, "utf8").digest("hex");

const lookup = new Map(allCandidates().map(e => [sha256(e), e]));
const found = leaked.filter(h => lookup.has(h)).map(h => [h, lookup.get(h)]);

PHP:

$lookup = [];
foreach (all_candidates() as $e) { $lookup[hash('sha256', $e)] = $e; }
$found = array_intersect_key($lookup, array_flip($leaked));

Ringkasan

    Hash
  • A sama untuk input yang sama, yang membuatnya jadi ID stabil, bukan penyamaran.
  • Kalau input yang mungkin bisa didaftar, hash semuanya dan bandingkan: brute force.
  • Buat tabel lookup sekali saja, lalu setiap hash adalah satu pencarian dict.
  • "Kita hanya membagikan email yang di-hash" tetap membagikan data orang yang sama. Pertahanan berikutnya adalah selanjutnya.
Giliranku

Tulis normalise(email) (strip dan lower-case), sha256_hex(text) (SHA-256 hex digest dari teks UTF-8), all_candidates() (daftar setiap alamat first.last@domain dan firstNN@domain, NN dari 1 sampai 99, menggunakan FIRST_NAMES, LAST_NAMES dan MAIL_DOMAINS) dan crack(hashes) (dict {hash: email} untuk setiap hash yang bisa kamu dapatkan). Lalu atur found = crack(leaked).

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.