Kurrikulum Leson 71 van 156 · Derde partye op jou eie webwerf
Derde partye op jou eie webwerf

Doen 'n oudit van 'n webwerf sederde partye

Hoekom dit saak maak Jy kan nie regmaak wat jy nie getel het nie. Voordat jy enigiets op 'n webwerf verander, vang privaatheidsingenieurs 'n bladsyelaai vas en lys elke buitebediener waarmee dit gepraat het. In hierdie oefening skryf jy daardie oudit self, in 'n paar reëls Python, en jy sal die idee in die Leg 3 projek hergebruik.

Dink aan 'n gasteboek by die kafee se deur. Aan die einde van die dag lees jy dit en vra: wie het ingekom, hoe gereeld, en het iemand iets agtergelaat? 'n Request log is die webwerf se gasteboek.

HAR file: kort vir HTTP Archive. DevTools kan elke versoek wat 'n bladsyde maak in een lêer stoor (Network tab, regsklik, "Save all as HAR"). Elke inskrywing lys die URL, die soort versoek, sy headers, die status en enige cookies wat gestel is. Ons oefen-blutser gee vir jou dieselfde ding as 'n lys van dicts met browser.har().

Een inskrywing uit die oefenwêreld lyk soos dit (verkort):

{"method": "GET",
 "url": "https://adco.example/p.gif?u=https%3A%2F%2Fshopb.example%2F",
 "kind": "beacon",
 "top_site": "shopb.example",       # the site in the address bar
 "status": 200,
 "set_cookies": ["adco_id=9f3c; Max-Age=31536000; Secure; SameSite=None"]}

Ware HAR-lêers het nie top_site nie; jy sal dit vanaf die bladsy-URL lees. Ons log voeg dit by om die kode kort te hou.

Drie vrae wat 'n oudit beantwoord

  1. Is hierdie versoek aan 'n derde party? Vergelyk die site van die URL met top_site. Gebruik die site, nie die volledige host nie: img.shopb.example behoort aan shopb.example, so dit is eerste party.
  2. Hoeveel kry elke buite gasheer? Tel sy versoeke en merk op of dit cookies gestel het.
  3. Wie sien mense oor verskillende webwerwe? 'n host wat onder twee of meer verskillende top_site waardes verskyn kan besoeke skakel. Dit is die eenes wat jy eerste moet kyk.

Twee helpers uit die praktykwêreld doen die URL-werk vir jou: host_of(url) gee die host ("img.shopb.example"), en site_of(url) gee die registreerbare webwerf ("shopb.example").

from watched import host_of, site_of
url = "https://img.shopb.example/logo.png"
print(host_of(url))   # img.shopb.example
print(site_of(url))   # shopb.example

Om 'n telling per host te bou, is die dict metode setdefault(key, default) handig: dit gee die waarde vir key terug, en stoor eers default as die sleutel nuut is.

counts = {}
for word in ["a", "b", "a"]:
    row = counts.setdefault(word, {"n": 0})
    row["n"] += 1
print(counts)   # {'a': {'n': 2}, 'b': {'n': 1}}

'n algemene wanbegrip: " 'n gasheer wat geen koekies stel nie is onskadelik". 'n Gasheer wat op elke webwerf verskyn sien steeds die IP-adres en bl brasileiros elke keer, en kan sy eie ID in die URL stuur in plaas van 'n koekie. Tel versoeke en webwerwe, nie net koekies nie.

In ander tale

Dieselfde oudit oor 'n HAR-lêer wat vanaf DevTools uitgevoer is. Ware HAR-lêers hou inskrywings onder log.entries.

// JavaScript (Node)
const har = JSON.parse(fs.readFileSync("page.har", "utf8"));
const report = {};
for (const e of har.log.entries) {
  const host = new URL(e.request.url).hostname;
  report[host] = (report[host] || 0) + 1;
}
console.table(report);
// Go
for _, e := range har.Log.Entries {
    u, _ := url.Parse(e.Request.URL)
    counts[u.Hostname()]++
}
// C#
var counts = har.Log.Entries
    .GroupBy(e => new Uri(e.Request.Url).Host)
    .ToDictionary(g => g.Key, g => g.Count());

Om die site reg te kry, het jy die Public Suffix List nodig (so a.co.uk word nie as deel van co.uk behandel nie). Gebruik 'n biblioteek soos tldts in JavaScript of golang.org/x/net/publicsuffix in Go eerder as om by punte te skei.

Opsomming

  • A aanvraaganlog (HAR) is 'n webwerf se gasteboek: elke buitebediener wat 'n bladsyelaai gekontak het.
  • Derde party beteken 'n ander site van die adresbalk, nie net 'n ander host name nie.
  • Hosts wat onder verskeie verskillende webwerwe gesien word, is die een wat besoeke kan skakel.
Jou beurt

Die beginkode vang 'n oefenlog vir jou vas: Sam blaai deur 12 winkelblaaie terwyl AdCo 'n ID cookie stel. Skryf drie funksies:

  1. is_third_party(entry): gee True terug wanneer site_of(entry["url"]) verskil van entry["top_site"], anders False.
  2. audit(har): gaan deur die lys en bou vir elke third-party inskrywing 'n dict met sleutels van host_of(entry["url"]). Elke waarde is 'n dict met "requests" (hoeveel inskrywings na daardie gas gegaan het), "sites" ( 'n sorted lys van die verskillende top_site waardes waaronder dit gesien is) en "sets_cookies" (True as enige van sy inskrywings 'n nie-leë set_cookies lys het). Gee die dict terug. First-party inskrywings word uitgesluit.
  3. watchers(report): gee die dict van audit, gee 'n lys van die hosts wat onder two or more webwerwe gesien is, gesorteer alfabeties.
Druk uiteindelik elke watcher met sy request count. Die toetse gebruik ander logs, so die antwoord kan nie met die hand ingetik word nie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.