Программа курса Урок 150 из 156 · Измеряйте веб как исследователь
Измеряйте веб как исследователь

Проект части 7: исследование с исправлением

Почему это важно Настоящая работа над приватностью - это цикл: измерить проблему, применить исправление, измерить снова и честно сказать, что изменилось и чего это стоило. Этот проект проходит цикл от начала до конца, соединяя краулер из этого модуля с защитой из прошлого.

Представьте врача, который проверяет, работает ли лечение: измерить до, лечить, измерить снова тем же способом и отметить побочные эффекты. Без первого измерения не с чем сравнивать; без побочных эффектов результат правдив лишь наполовину.

Вопрос

Мог бы в смоделированном вебе тот, кто наблюдает за вашим зашифрованным соединением, сказать, какой чувствительный сайт вы посетили, и сколько заполнения понадобилось бы, чтобы надёжно ему помешать?

Посещение сайта о здоровье, финансах или религии может раскрыть что-то личное, даже если больше ничего не утекает. Вы:

  1. Измерите обстановку. Обойдите SimWeb(seed), найдите сайты, чья категория есть в SENSITIVE, и запишите, какая их доля загружает трекер из списка. Возьмите первые 6 чувствительных сайтов по рангу.
  2. Измерите проблему. Получите загрузки страниц этих 6 сайтов через page_loads(seed, sites=...) и измерьте точность классификатора по ближайшему центроиду, как в уроке 143.
  3. Примените исправление. Пробуйте бюджеты заполнения из PAD_LEVELS по порядку. Для каждого заполните обучающие загрузки с seed=1 и тестовые с seed=2, переобучите и измерьте снова. Остановитесь на первом бюджете, точность которого не выше TARGET. Если ни один не достигает цели, оставьте последний.
  4. Измерите цену. Накладные расходы при выбранном бюджете, как в уроке 143.
  5. Напишите ограничения. Не меньше двух честных предложений, как в уроке 149. Одно здесь уместно при любом результате: бюджет выбран по точности на тех же тестовых загрузках, о которых вы затем сообщаете, что немного приукрашивает результат. Аккуратное исследование выбирает бюджет на третьем, отдельном наборе загрузок и сообщает тестовый набор один раз.

Отчёт

study(seed) возвращает словарь ровно с такими ключами:

{
  "seed": 7,
  "sites": ["...", ...],              # the 6 sensitive sites, by rank
  "sensitive_with_trackers": 0.97,    # share of ALL sensitive sites with a listed tracker
  "accuracy_before": 0.94,
  "padding_budget": 800,              # the first level in PAD_LEVELS reaching TARGET
  "accuracy_after": 0.19,
  "overhead": 2.07,                   # extra test cells as a fraction: here about 3 times the traffic
  "target_met": True,                 # accuracy_after <= TARGET
  "limits": ["...", "..."]            # at least two sentences
}

Числа проверяются по скрытому запуску на другом seed, поэтому ваш код должен проводить исследование, а не копировать один ответ. Ограничения по содержанию не оцениваются, но тьютор может дать по ним отзыв. Подумайте о закрытом мире из 6 сайтов, наблюдателе, который знает ваши настройки заполнения, смоделированном трафике и о том, что доля трекеров говорит, а что нет.

Заметьте две половины результата. Заполнение защищает визит от сетевого наблюдателя, но трекеры на тех же сайтах всё равно узнают о вас напрямую. Одна защита никогда не покрывает все угрозы, и ваше описание может это сказать.

Распространённое заблуждение: "Если точность упала ниже цели, проблема решена." Вы решили её для этого наблюдателя, в этом закрытом мире, по измеренной цене. Это настоящий результат, и у него есть границы.

На других языках

Выбор первого уровня, достигающего цели, в других местах:

// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
  chosen = budget;
  after = paddedAccuracy(data, budget);
  if (after <= TARGET) break;
}
// Go
var chosen int
var after float64
for _, budget := range padLevels {
    chosen, after = budget, paddedAccuracy(data, budget)
    if after <= target { break }
}

Итоги

  • Измерьте, исправьте, измерьте снова тем же способом и сообщите цену.
  • Заполнение скрыло от сетевого наблюдателя, какой чувствительный сайт посещался, по измеренной цене в трафике.
  • Трекеры на этих сайтах - отдельная проблема, которую заполнение не затрагивает.
  • Честные ограничения - часть результата, а не извинение за него.
Твоя очередь

Напишите study(seed) по пяти шагам выше, возвращая словарь отчёта ровно с показанными ключами. Используйте PAD_LEVELS = [50, 100, 200, 400, 800] и TARGET = 0.4, классификацию по ближайшему центроиду на признаках (outgoing, incoming), где ничьи достаются первому по алфавиту сайту, pad_traces(..., seed=1) для обучающих загрузок и seed=2 для тестовых. Задайте report = study(7). Тесты перезапускают ваше исследование на скрытом seed.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.