Müfredat 156 dersinden 48. · Bir engelleyici oluştur
Bir engelleyici oluştur

Liste olmadan takipçileri tespit et

Neden önemli Bir liste yalnızca birinin zaten bulup yazdığı izleyicileri bilir. Her hafta yeni izleyiciler çıkar, ve bazıları adlarını bilerek değiştirir. Bir izleyiciyi nasıl davrandığından tanımak, hiçbir listenin henüz duymadığı izleyicileri yakalar.

Fotoğrafsız bir hırsızı tanımak

Bilinen hırsızların listesine sahip bir mağaza güvenlikçisi işe yarar. Ama iyi bir güvenlikçi davranışı da izler: sokaktaki her dükkânı ziyaret edip kimin girdiğini not eden biri. Ne yaptığını görmek için adını bilmen gerekmez.

İzleyicilerin de ele veren davranışları vardır. Bu derste bir tarayıcının istek günlüğünde üç ipucu arıyorsun:

  1. Aynı anda her yerde. Aynı üçüncü taraf site iki ya da daha fazla farklı sitede görünür. Ziyaretlerini birleştirmesini sağlayan budur.
  2. Adreste benzersiz bir kimlik. cid=df0641532d7f gibi rastgele görünen bir sorgu değeri: bu senin için bir isim etiketidir.
  3. Bir piksel. 100 bayt ya da daha küçük, bir şey gösteremeyecek kadar küçük bir "görüntü". Tek işi tarayıcına bir istek göndertmektir.

Sezgisel kural: "kara bulutlar yağmur demektir" gibi, genellikle doğru ama her zaman değil olan bir pratik kural. Sezgisel kurallar yeni şeyleri yakalayabilir, ve kandırılabilirler de.

Kuralımız: 1. ipucu doğruysa ve 2. ya da 3. ipuçlarından en az biri doğruysa bir site izleyicidir. 1. ipucunu şart koşmak zararsız cdn.example'ı güvende tutar: her dükkânda var, ama hiç kimlik göndermiyor ve logosu gerçek bir 2 KB'lık resim.

Rastgele ne kadar rastgele? Kısaca entropi

Bir kimliği normal bir kelimeden ayırmak için karakterlerinin ne kadar karışık olduğunu ölçeriz. aaaa hiç karışık değil. abcd dört farklı karakteri eşit kullanıyor.

Shannon entropisi: bir şeyin ne kadar öngörülemez olduğunu bit cinsinden veren bir sayı. Bir metin için: her farklı karakter için metindeki payı p'yi al, ve -p * log2(p)'leri topla. Daha çok çeşitlilik daha çok bit verir.

char_entropy("aaaa")   # 0.0  every character is the same
char_entropy("abab")   # 1.0  two characters, half each
char_entropy("abcd")   # 2.0  four characters, a quarter each

math.log2(p), "p'yi elde etmek için 1'i kaç kez yarıya bölerim"dir, negatif bir sayı olarak verilir, eksi işaretinin nedeni budur. collections.Counter(text) her karakteri senin için sayar. Aynı formülle bir sonraki modülde, bütün tarayıcı kalabalıklarına uygulanmış olarak yeniden karşılaşacaksın.

Entropi tek başına yetmez: trail-shoes da oldukça karışık. Bu yüzden looks_like_id ayrıca en az 8 karakter, yalnızca harfler, rakamlar, - ya da _, ve en az bir harf ve bir rakam ister. Kelimeler rakam testinden kalır; tarihler ve URL'ler harf ya da karakter testinden kalır.

Günlüğü okumak

browser.log'daki her record ihtiyacın olanı taşır:

  • site_of(record.url) ve record.top_site: farklılarsa üçüncü taraftır.
  • record.request.params: sorgu, zaten çözülmüş bir sözlük olarak.
  • record.response: engellendiyse None; aksi halde .header("Content-Type") ve bayt cinsinden .size.

Dürüst sınırlar

Günlüğünde yalnızca bir sitede olan bir izleyici, henüz ziyaret etmediğin binlerce sitede olsa bile fark edilmeden geçer. Kimlikleri bir çerezde saklayıp normal boyutlu bir görüntü gönderen bir izleyici de sızar. Ve kimlikleri kendi sitesine gönderen birinci taraf bir analitik betiği hiç üçüncü taraf değildir. Gerçek engelleyicilerin listeleri ve sezgisel kuralları birlikte kullanmasının nedeni budur.

Kendin dene DevTools'u aç (F12, ya da Mac'te Cmd+Option+I), Ağ sekmesine git, Img ile filtrele, ve bir haber sitesi yükle. Boyuta göre sırala. Boyut sütunu yanıt başlıklarını da sayar, bu yüzden görüntüsü yalnızca birkaç düzine bayt olan bir piksel yine birkaç yüz olarak görünür. Başka bir siteden gelen bu kadar küçük her görüntü büyük olasılıkla bir pikseldir. Birine tıkla ve sorgu dizgisinde uzun rastgele bir değer ara.

Diğer dillerde

JavaScript:

function charEntropy(text) {
  if (!text) return 0;
  const counts = {};
  for (const ch of text) counts[ch] = (counts[ch] || 0) + 1;
  let bits = 0;
  for (const n of Object.values(counts)) {
    const p = n / text.length;
    bits -= p * Math.log2(p);
  }
  return bits;
}

const looksLikeId = v => v.length >= 8 && /^[A-Za-z0-9_-]+$/.test(v)
  && /[0-9]/.test(v) && /[A-Za-z]/.test(v) && charEntropy(v) >= 2;

C#:

static double CharEntropy(string text) =>
    text.Length == 0 ? 0 :
    -text.GroupBy(c => c)
         .Select(g => (double)g.Count() / text.Length)
         .Sum(p => p * Math.Log2(p));

Özet

  • Davranış izleyicileri ele verir: birçok sitede bulunmak, rastgele kimlikler göndermek, pikseller çekmek.
  • Shannon entropisi bir metnin ne kadar karışık olduğunu ölçer; rastgele kimlikler yüksek puan alır.
  • "2 ya da daha fazla sitede" şartı bir CDN gibi zararsız yardımcıları korur.
  • Sezgisel kurallar yeni izleyicileri yakalar ama bazılarını kaçırır; gerçek engelleyiciler onları listelerle birleştirir.
Senin sıran

char_entropy(text) (karakter başına bit cinsinden Shannon entropisi, boş metin için 0.0), looks_like_id(value) (en az 8 karakter, hepsi ID_CHARS içinde, en az bir rakam ve bir harf, entropi en az 2.0), is_pixel(record) (image/ ile başlayan ve boyutu 100 bayt veya daha az olan bir Content-Type içeren bir yanıt) ve find_trackers(log) yaz ve en az 2 farklı popüler sitede üçüncü taraf olarak görünen ve ID benzeri bir sorgu değeri gönderen veya bir piksel alan sitelerin kümesini döndür. watched.reference kullanma.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.