Проект части 7: исследование с исправлением
Почему это важно Настоящая работа над приватностью - это цикл: измерить проблему, применить исправление, измерить снова и честно сказать, что изменилось и чего это стоило. Этот проект проходит цикл от начала до конца, соединяя краулер из этого модуля с защитой из прошлого.
Представьте врача, который проверяет, работает ли лечение: измерить до, лечить, измерить снова тем же способом и отметить побочные эффекты. Без первого измерения не с чем сравнивать; без побочных эффектов результат правдив лишь наполовину.
Вопрос
Мог бы в смоделированном вебе тот, кто наблюдает за вашим зашифрованным соединением, сказать, какой чувствительный сайт вы посетили, и сколько заполнения понадобилось бы, чтобы надёжно ему помешать?
Посещение сайта о здоровье, финансах или религии может раскрыть что-то личное, даже если больше ничего не утекает. Вы:
- Измерите обстановку. Обойдите
SimWeb(seed), найдите сайты, чья категория есть вSENSITIVE, и запишите, какая их доля загружает трекер из списка. Возьмите первые 6 чувствительных сайтов по рангу. - Измерите проблему. Получите загрузки страниц этих 6 сайтов через
page_loads(seed, sites=...)и измерьте точность классификатора по ближайшему центроиду, как в уроке 143. - Примените исправление. Пробуйте бюджеты заполнения из
PAD_LEVELSпо порядку. Для каждого заполните обучающие загрузки сseed=1и тестовые сseed=2, переобучите и измерьте снова. Остановитесь на первом бюджете, точность которого не вышеTARGET. Если ни один не достигает цели, оставьте последний. - Измерите цену. Накладные расходы при выбранном бюджете, как в уроке 143.
- Напишите ограничения. Не меньше двух честных предложений, как в уроке 149. Одно здесь уместно при любом результате: бюджет выбран по точности на тех же тестовых загрузках, о которых вы затем сообщаете, что немного приукрашивает результат. Аккуратное исследование выбирает бюджет на третьем, отдельном наборе загрузок и сообщает тестовый набор один раз.
Отчёт
study(seed) возвращает словарь ровно с такими ключами:
{
"seed": 7,
"sites": ["...", ...], # the 6 sensitive sites, by rank
"sensitive_with_trackers": 0.97, # share of ALL sensitive sites with a listed tracker
"accuracy_before": 0.94,
"padding_budget": 800, # the first level in PAD_LEVELS reaching TARGET
"accuracy_after": 0.19,
"overhead": 2.07, # extra test cells as a fraction: here about 3 times the traffic
"target_met": True, # accuracy_after <= TARGET
"limits": ["...", "..."] # at least two sentences
}Числа проверяются по скрытому запуску на другом seed, поэтому ваш код должен проводить исследование, а не копировать один ответ. Ограничения по содержанию не оцениваются, но тьютор может дать по ним отзыв. Подумайте о закрытом мире из 6 сайтов, наблюдателе, который знает ваши настройки заполнения, смоделированном трафике и о том, что доля трекеров говорит, а что нет.
Заметьте две половины результата. Заполнение защищает визит от сетевого наблюдателя, но трекеры на тех же сайтах всё равно узнают о вас напрямую. Одна защита никогда не покрывает все угрозы, и ваше описание может это сказать.
Распространённое заблуждение: "Если точность упала ниже цели, проблема решена." Вы решили её для этого наблюдателя, в этом закрытом мире, по измеренной цене. Это настоящий результат, и у него есть границы.
На других языках
Выбор первого уровня, достигающего цели, в других местах:
// JavaScript
let chosen, after;
for (const budget of PAD_LEVELS) {
chosen = budget;
after = paddedAccuracy(data, budget);
if (after <= TARGET) break;
}// Go
var chosen int
var after float64
for _, budget := range padLevels {
chosen, after = budget, paddedAccuracy(data, budget)
if after <= target { break }
}Итоги
- Измерьте, исправьте, измерьте снова тем же способом и сообщите цену.
- Заполнение скрыло от сетевого наблюдателя, какой чувствительный сайт посещался, по измеренной цене в трафике.
- Трекеры на этих сайтах - отдельная проблема, которую заполнение не затрагивает.
- Честные ограничения - часть результата, а не извинение за него.
Напишите study(seed) по пяти шагам выше, возвращая словарь отчёта ровно с показанными ключами. Используйте PAD_LEVELS = [50, 100, 200, 400, 800] и TARGET = 0.4, классификацию по ближайшему центроиду на признаках (outgoing, incoming), где ничьи достаются первому по алфавиту сайту, pad_traces(..., seed=1) для обучающих загрузок и seed=2 для тестовых. Задайте report = study(7). Тесты перезапускают ваше исследование на скрытом seed.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.