Как скрытый мир оценивает вас
Почему это важно Если вы точно знаете, что проверяется, вы можете направить свои усилия на это вместо того, чтобы гадать. Знание того, как работает проверка, также говорит вам, почему она честная: никто не может пройти, копируя ответы, так что прохождение означает, что вы действительно построили вещь.
Представьте экзамен по вождению. Вы тренируетесь на улицах рядом с домом, пока не узнаете каждый угол. В день экзамена экзаменатор выбирает маршрут, по которому вы никогда не ездил. Правила дорожного движения те же, но улицы новые, поэтому единственный способ пройти тест это действительно уметь водить.
Несколько ваших проектов по Leg были оценены именно так: Leg 2 Tracker Lab, отчет по устройству Leg 5 и скрытый набор трекеров Leg 6 запускали ваш код в скрытом мире с теми же правилами, но другими сайтами, именами, трекерами и посетителями. Когда вы продвигаете свой проект-витрину на один шаг дальше, протестируйте этот шаг так же: в мире, который вы не настраивали.
Скрытый мир: тренировочный мир, который вы не видели, созданный тем же генератором, что и тот, на котором вы тренировались, но из другого сида. Он используется только для оценки.
Seed: начальное число для случайного генератора. Один и тот же seed всегда создает один и тот же мир, а другой seed создает другой мир. Именно так оценка может быть честной для всех и при этом новой для вас.
Два вида проверки
- A отчет, проверенный по скрытому миру (проекты Leg 2 и Leg 5). Ваш код смотрит на скрытый мир и пишет JSON отчет; проверка сравнивает его с тем, что там действительно есть.
- Скрытые тесты (большинство лабораторных работ, а также проекты Leg 3, 4, 6 и 7). Проверка вызывает ваши функции с входными данными, которые вы не видели, и проверяет результаты.
Ваше итоговое описание (следующий урок) не оценивается машиной: это та часть, которую вы показываете человеку. Это оставляет автоматические проверки для вещей, которые машина может оценить справедливо.
JSON: текстовый формат данных, состоящий из списков в квадратных скобках и именованных значений в фигурных скобках. Python dict и list превращаются в JSON почти один к одному.
Как выглядит проверка отчета
ОтчетA это просто структурированные результаты. Если вы продвинете проект Leg 3 еще на один шаг до полного аудита мастерской, отчет может выглядеть так:
{
"site": "shopa.example",
"third_parties": ["adco.example", "cdn.example"],
"trackers": ["adco.example"],
"cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
"csp_present": false
}
Грейдер задает несколько простых вопросов об этом. Является ли это валидным JSON? Есть ли там обязательные поля с правильными типами? И для каждого результата: действительно ли он находится в скрытом мире?
Попадания, промахи и ложные тревоги
A датчик дыма может ошибаться двумя разными способами. Он может молчать во время реального пожара (miss) или срабатывать, когда вы просто жарили тост (false alarm). Хороший датчик минимизирует оба случая. Ваши результаты оцениваются так же.
Истинно положительный: вы что-то сообщили и это действительно там есть. Ложно положительный: вы сообщили о чем-то, чего там нет (ложная тревога). Ложно отрицательный: что-то там есть и вы этого не сообщили (пропуск).
Представьте, что ваш blocker в скрытом мире видит 20 tracker запросов и 80 обычных. Он блокирует 19 трекеров и также по ошибке 1 обычный запрос, который был нужен странице. Это 19 попаданий, 1 промах и 1 ложное срабатывание. В Leg 2 вы превратили такие счетчики в precision (сколько из заблокированных вещей были реально трекерами) и recall (сколько реальных трекеров вы поймали).
ПравилоA для проекта может выглядеть как в плане курса: "заблокировано как минимум 95% запросов трекера, нет ложных срабатываний". Здесь 19 из 20 это ровно 95%, но один ошибочно заблокированный запрос все равно нарушает его. В инструментах приватности обе ошибки важны: пропуск пропускает трекинг, а ложная тревога ломает страницу и учит людей отключать инструмент.
Тот же код, тот же результат
Оценка deterministic: запустите один и тот же код в одном и том же скрытом мире и вы всегда получите один и тот же результат. Там, где проект проверяет скорость, он считает операции относительно Бюджета, а не время на часах, поэтому медленный ноутбук не получает штраф.
Проверьте свой отчет перед отправкой
Большинство неудачных попыток это не ошибки в идеях; это пропущенное поле или опечатка. Маленькая самопроверка ловит их:
import json
report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}
def missing_fields(report, required):
# return the required field names that the report does not have
return [name for name in required if name not in report]
print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties'] -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
В других языках
Отчет оценивается, а не код, поэтому подходит любой язык, который пишет JSON (так что вы можете переделать свою демонстрацию на языке, который используете на работе).
JavaScript:
const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report))); // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));
Go:
type Report struct {
Site string `json:"site"`
Trackers []string `json:"trackers"`
CSPPresent bool `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", " ")
fmt.Println(string(out))
C#:
var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));
A распространенное заблуждение
"Мой результат в тренировочном мире 100%, так что и скрытый результат будет таким же." Не всегда. Если ваш код тихо зависит от деталей тренировочного мира, например от списка имен трекеров, которые вы из него скопировали, он пропустит трекеры в скрытом мире. Это называется overfitting: подгонка под примеры, которые вы видели, вместо правила за ними. Проверьте свою логику на нескольких тренировочных мирах, созданных из разных семян (например build_world(seed=2) а также обычного) перед тем как отправить.
Итог
- Оценка Hidden-world запускает вашу работу в мире из зерна, которое вы не видели, поэтому скопированные ответы проваливаются, а реальные навыки проходят.
- Некоторые проекты оцениваются по JSON отчету в скрытом мире, большинство по скрытым тестам; итоговое описание предназначено для людей, а не для оценщика.
- Результаты оцениваются по попаданиям, пропускам и ложным тревогам; оба вида ошибок учитываются.
- Оценка детерминирована и считает операции, а не время работы процессора. Проверьте поля своего отчета перед отправкой.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.