Müfredat 156 dersinden 146. · Bir araştırmacı gibi web'i ölç.
Bir araştırmacı gibi web'i ölç.

Simüle edilmiş web sitesini tara

Neden önemli Saymak, belirsiz bir endişeyi ("takipçiler her yerde") kontrol edebileceğin ve tekrarlayabileceğin bir gerçeğe dönüştürme yoludur. Bu laboratuvarda 1.000 simüle edilmiş site üzerinde gerçek tarzda bir crawl çalıştırıyor ve her takip çalışmasının başladığı tabloyu oluşturuyorsun: hangi üçüncü taraflar görünüyor ve kaç sitede bulunuyorlar.

A crawl bir dükkandaki stok kontrolü gibidir: her koridorda yürü, her ürünü yaz, sonra topla. Burada her koridor bir site, her ürün ise sayfanın yaptığı bir istektir.

Simüle edilmiş web

SimWeb(seed), watched.leg7b_web'den 1,000 kurgusal site oluşturur ve bunları popülerliğe göre sıralar. web.sites isimlerini listeler ve web.visit(site) bir crawler'ın kaydettiğini döndürür:

from watched.leg7b_web import SimWeb, TRACKER_LIST
from watched.urls import site_of

web = SimWeb(seed=1)
load = web.visit(web.sites[0])
print(load["site"], load["rank"], load["category"])
for r in load["requests"][:4]:
    print(r["kind"], r["host"], r["sets_cookie"])
print(site_of("t.adco.example"))       # adco.example

Üçüncü taraf: sayfanın iletişim kurduğu, ziyaret ettiğin site dışındaki bir site. Eğer calmriver.example adresini ziyaret edersen ve t.adco.example yüklenirse, üçüncü taraf adco.example olur.

Kaydedilebilir alan adı (site): bir sahibin kontrol ettiği, t.adco.example için adco.example gibi bir ana makine adının parçasıdır. site_of(host) bunu senin için çözer; bunu Etap 6 kısmında kendin yazdın.

Yaygınlık: bir şeyin ne kadar yaygın olduğu: burada, üçüncü bir tarafın göründüğü taranan sitelerin sayısı (veya oranı).

Sözlükle sayma, anahtarla sıralama

A set her değeri sadece bir kez tutar, bu da "bu sayfa hangi üçüncü taraflarla iletişim kurdu" sorusu için mükemmeldir. Sayfalar genelinde saymak için bir dict kullan ve bir üçüncü tarafın göründüğü her sayfa için bir tane ekle. Tabloyu sıralamak için, öğelerini bir key ile sırala: neye göre sıralanacağını söyleyen bir fonksiyon.

table = {"adco.example": 3, "cdn.example": 5, "fontshelf.example": 3}
ranked = sorted(table.items(), key=lambda kv: (-kv[1], kv[0]))
print(ranked)   # [('cdn.example', 5), ('adco.example', 3), ('fontshelf.example', 3)]
# -kv[1] puts big counts first; kv[0] breaks ties alphabetically.

Bir üçüncü tarafın kaç istek gönderdiğine bakılmaksızın her site için bir kez sayıldığını unutma. Bir sitede on tane pixel ateşleyen bir tracker hala tek bir sitededir.

TRACKER_LIST, halka açık filtre listelerinin onları etiketlediği gibi, bilinen takipçi sitelerinin bir kara listesidir. Listelenen en az bir takipçiyi yükleyen sitelerin oranı, birçok çalışmanın ana rakamıdır.

A yaygın bir yanlış anlaşılma: "Her üçüncü taraf bir takipçidir." Yazı tipleri, içerik dağıtım ağları ve ödeme araçları da üçüncü taraftır. Tablonuz bazı en yaygın üçüncü tarafların zararsız olduğunu gösterecek, bu yüzden çalışmalar dikkatli etiketleme yapar.

Diğer dillerde

JavaScript (Node) ve Go'da yaygınlığı sayma:

// JavaScript
const table = new Map();
for (const load of loads) {
  const thirds = new Set(load.requests.map(r => siteOf(r.host)).filter(s => s !== load.site));
  for (const s of thirds) table.set(s, (table.get(s) || 0) + 1);
}
const top = [...table].sort((a, b) => b[1] - a[1] || a[0].localeCompare(b[0])).slice(0, 10);
// Go
table := map[string]int{}
for _, load := range loads {
    seen := map[string]bool{}
    for _, r := range load.Requests {
        s := siteOf(r.Host)
        if s != load.Site && !seen[s] { seen[s] = true; table[s]++ }
    }
}

Özet

  • A crawl birçok siteyi ziyaret eder ve her isteği kaydeder; bunları verilere dönüştürür.
  • Hostları site_of ile sitelere grupla ve her üçüncü tarafı site başına bir kez say.
  • Yaygınlığa göre sıralamak için bir anahtar kullan, eşitlik durumunda isme göre ayır.
  • Her üçüncü taraf bir takipçi değildir; bir liste ile etiketle ve hangi listeyi kullandığını söyle.
Senin sıran

Beş fonksiyon yaz:

  1. third_parties(load): sayfanın iletişim kurduğu (site_of(request["host"])) siteler kümesi, load["site"].
  2. olmadan.
  3. prevalence(loads): üçüncü taraf siteden alınan bir sözlük ve içinde göründüğü yük sayısı.
  4. top(table, n): en büyük n (site, count) çiftleri, önce en büyükler, eşitlik durumunda alfabetik.
  5. cookie_setters(loads): sets_cookie değeri true olan en az bir isteği bulunan üçüncü taraf sitelerin kümesi.
  6. tracker_share(loads, tracker_list): tracker_list.
  7. içindeki en az bir site ile temas eden yüklerin oranı
Sonra web.sites içindeki her site için loads kısmını sırayla web.visit(site) ile doldur. Testler diğer simüle edilmiş webleri de tarar.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.