Сайты, источники и "same site
Почему это важно Каждое правило приватности внутри браузера начинается с одного вопроса: "какой это сайт?" Cookies, partitions, SameSite, списки трекеров и обнаружение отказов все привязывают вещи к сайту. Если движок получит этот ответ неверно, трекер может проскользнуть между двумя банками или два блога незнакомцев могут оказаться общими. В этом уроке вы сами пишете этот ответ.
Представьте многоквартирный дом. Улица (example) общая для всех, поэтому она ничего не говорит о том, кто где живет. Номер квартиры плюс улица (shopa.example) это одно домохозяйство. Комнаты внутри квартиры (cdn.shopa.example, www.shopa.example) все принадлежат этому же домохозяйству. Браузер хочет домохозяйство.
Три слова, которые вам нужны
Host: часть имени URL, такая как cdn.shopa.example в https://cdn.shopa.example:8443/lib.js. Она состоит из labels, разделенных точками: cdn, shopa, example.
Origin: схема, хост и порт вместе, например https://cdn.shopa.example:8443. Это самая строгая граница: https://www.shopa.example и https://shopa.example это разные origin.
Site: часть хоста, зарегистрированная одним владельцем, также называемая registrable domain: shopa.example для всех вышеуказанных хостов. Функции конфиденциальности, такие как partitioning и SameSite, работают на сайтах, потому что один владелец все равно контролирует каждый хост под ним.
Список публичных суффиксов
"Take the last two labels" работает для shopa.example, но не работает для practice-shop.co.uk: последние две метки это co.uk, которые используют тысячи не связанных компаний. Поэтому браузеры используют список публичных суффиксов (public suffix list), длинный файл окончаний, под которыми любой может зарегистрировать имя.
Общий суффикс: окончание, которое никто не владеет целиком, такое как com, co.uk или github.io. Сайт это общий суффикс плюс one и еще одна метка слева от него.
Список также содержит "приватные" суффиксы, добавленные хостинг-сервисами. github.io есть в нем, поэтому alice.github.io и bob.github.io это два разных сайта, хотя серверы обслуживает одна компания. Без этой записи блог Алисы мог бы установить cookie, который получит блог Боба. В нашем практическом мире pages.example играет ту же роль.
Правила, которые применяет браузер:
- Переведите хост в нижний регистр, удалите порт и удалите точку в конце (
shopa.example.- это допустимый способ записиshopa.example). - Найдите самое длинное окончание хоста, которое есть в списке. Для
a.b.practice-charity.org.uk, иuk, иorg.ukуказаны в списке;org.ukпобеждает. - Сайт это то окончание плюс одна метка слева от него.
- Если host is общественный суффикс (например, plain
github.io), то сайт это сам host. - Если ни одно из перечисленных окончаний не подходит, считайте последнюю метку суффиксом. Значит
dev.app.zzимеет сайтapp.zz.
Реальные списки также имеют несколько правил исключений и подстановок, а IP адрес является отдельным сайтом. Движки обрабатывают их тоже; здесь вы можете их пропустить.
Schemeful same-site
Старые браузеры сравнивали только регистрируемый домен, поэтому http://shopa.example и https://shopa.example считались "same site". Сегодняшние веб-стандарты определяют same-site как schemeful: схема является частью сайта, поэтому обычная страница http считается другим, ненадежным сайтом. Почему это важно: любой человек в вашей сети Wi-Fi в кафе может изменить страницу http, и она не должна иметь возможности заимствовать SameSite cookies сайта https.
| A | B | Тот же источник? | Тот же сайт? |
|---|---|---|---|
https://www.shopa.example | https://shopa.example | No | Да |
https://alice.github.io | https://bob.github.io | No | No |
http://shopa.example | https://shopa.example | No | Нет (стыдно) |
https://shopa.example:8443 | https://shopa.example | No | Да (порты не считаются) |
Python, который вам нужен
Помимо переменных, if, списков и функций, вам нужны четыре маленьких инструмента. Каждый из них показан здесь с тем, что он выводит.
from urllib.parse import urlsplit # part of Python's standard library
parts = urlsplit("https://CDN.ShopA.example:8443/lib.js")
print(parts.scheme) # https
print(parts.hostname) # cdn.shopa.example (already lower case, port removed)
labels = "cdn.shopa.example".split(".") # cut a string at every dot
print(labels) # ['cdn', 'shopa', 'example']
print(labels[1:]) # ['shopa', 'example'] (a slice: from position 1 to the end)
print(".".join(labels[1:])) # shopa.example (glue a list back together with dots)
print("shopa.example.".rstrip(".")) # shopa.example (remove dots from the right end)
print("co.uk" in {"co.uk", "uk"}) # True (a set answers "is this in it?" quickly)
for i in range(3): # i takes the values 0, 1, 2
print(i)
A крутой трюк: если вы попробуете окончания от longest (labels[0:]) к самому короткому, первый из них, который вы найдете в списке, автоматически будет самым длинным совпадением.
Попробуйте Перед написанием кода решите три задачи вручную: www.alice.pages.example, news.practice-paper.co.uk и zz. Вы должны получить alice.pages.example, practice-paper.co.uk и zz.
В других языках
Реальные проекты используют поддерживаемую копию public suffix list, а не собственную:
// JavaScript (the tldts package)
import { getDomain } from "tldts";
getDomain("https://cdn.shopa.co.uk/lib.js"); // "shopa.co.uk"
getDomain("alice.github.io", { allowPrivateDomains: true }); // "alice.github.io" (private suffixes are off by default)
new URL("https://CDN.ShopA.example:8443/").hostname; // "cdn.shopa.example"
// Go (golang.org/x/net/publicsuffix)
site, err := publicsuffix.EffectiveTLDPlusOne("alice.github.io") // "alice.github.io", nil
// Rust (the psl crate)
let site = psl::domain_str("www.shopa.co.uk"); // Some("shopa.co.uk")
// C# (built in: host only; use a public-suffix package such as Nager.PublicSuffix for the site)
var host = new Uri("https://CDN.ShopA.example:8443/").Host; // "cdn.shopa.example"A распространенное заблуждение
"Same site означает same origin, просто формулировка мягче." Это разные границы. Origin это то, что JavaScript использует для разделения страниц (кто может читать данные кого). Site это то, что используют функции приватности для решения, что считается одной стороной (чьи cookies передаются, какой jar получает embed). www.shopa.example и shopa.example это разные origins, но один site.
Итог
- Сайт
- A это публичный суффикс плюс одна метка; список публичных суффиксов говорит, где заканчиваются суффиксы.
- Самый длинный указанный суффикс побеждает, а приватные суффиксы, такие как
github.io, делают подсайт каждого пользователя отдельным сайтом. - Schemeful same-site считает схему, поэтому версии
httpиhttpsдомена являются разными сайтами. - Origins разделяют страницы; сайты решают, какая сторона какая.
Напишите четыре функции, затем используйте их для 30 учебных URL.
host_from_url(url): хостurl, в нижнем регистре, без порта и без точки в конце.site_for(url, suffixes): сайтurl, используя наборsuffixesкак список публичных суффиксов и пять правил из урока (самый длинный указанный суффикс плюс одна метка; хост, который сам является суффиксом, является своим собственным сайтом; если ничего не подходит, последняя метка является суффиксом).schemeful_site(url, suffixes): схема, затем://, затем сайт, например"https://shopa.example".is_same_site(a, b, suffixes):Trueкогда у двух URL одинаковый schemeful site.
SITES как список с сайтом каждого URL в PRACTICE_URLS, по порядку, используя PRACTICE_SUFFIXES. Напишите логику сами: не используйте site_of или same_site из watched.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.