课程大纲 第 152 课,共 156 课 · 综合项目:选择一个项目
综合项目:选择一个项目

隐藏世界如何给你评分

为什么重要 如果你确切地知道检查的是什么,你就能把力气用在那上面,而不是去猜。了解检查的工作方式,也会告诉你它为什么是公平的:没有人能靠抄答案通过,所以通过就意味着你真的把这个东西做出来了。

想想驾照考试。你在家附近的街道上练习,直到熟悉每一个拐角。到了考试那天,考官选了一条你从没开过的路线。交通规则是一样的,但街道是新的,所以唯一能通过的办法就是真的会开车。

你的好几个阶段项目正是这样评分的:第 2 阶段的跟踪器实验室、第 5 阶段的设备报告和第 6 阶段的隐藏跟踪器测试集,都是在一个规则相同、但网站、名字、跟踪者和访客都不同的隐藏世界上运行你的代码。当你把代表作项目再往前推一步时,也要用同样的方式测试这一步:在一个你没有针对它调整过的世界上。

隐藏世界:一个你没见过的练习世界,由和你练习用的那个世界相同的生成器构建,但使用不同的种子。它只用于评分。

种子:随机生成器的起始数字。同一个种子总是构建出同一个世界,不同的种子构建出不同的世界。评分正是这样做到对每个人都公平,同时对你来说又是全新的。

两种检查

  • 对照隐藏世界检查的报告(第 2 和第 5 阶段的项目)。你的代码查看隐藏世界并写出一份 JSON 报告;检查会把它和它所知道的真实情况进行比较。
  • 隐藏测试(大多数实验,以及第 3、4、6 和 7 阶段的项目)。检查会用你没见过的输入调用你的函数,并检查结果。

你的综合项目报告(下一课)不由机器评分:它是你拿给人看的部分。这让自动检查只针对机器能公平判断的东西。

JSON:一种表示数据的纯文本格式,由方括号里的列表和花括号里带标签的值组成。Python 的字典和列表几乎可以一对一地转换成 JSON。

报告检查是什么样子的

一份报告只是结构化的发现。如果你把第 3 阶段的项目再往前推一步,变成对一家练习商店的完整审计,一份报告可能是这样的:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

评分器会就它问几个简单的问题。它是有效的 JSON 吗?必需的字段都在吗,类型对不对?以及对每一项发现:它真的存在于隐藏世界里吗?

命中、漏报和误报

烟雾报警器可以有两种不同的对错方式。它可能在真正着火时保持沉默(漏报),也可能在你只是烤了片面包时响起来(误报)。好的报警器让两者都保持在低水平。你的发现也是这样被评判的。

真阳性:你报告了某样东西,而它真的存在。假阳性:你报告了某样并不存在的东西(误报)。假阴性:某样东西存在,而你没有报告它(漏报)。

假设你的拦截器在隐藏世界上看到了 20 个跟踪请求和 80 个普通请求。它拦截了其中 19 个跟踪请求,还误拦了 1 个页面需要的普通请求。那就是 19 次命中、1 次漏报和 1 次误报。在第 2 阶段,你把这样的计数变成了精确率(你拦截的东西里有多少真的是跟踪者)和召回率(真正的跟踪者里你抓到了多少)。

一个项目的通过规则可能和课程计划里的那条一样:“拦截至少 95% 的跟踪请求,没有假阳性”。这里 20 个中的 19 个正好是 95%,但那一个被误拦的请求仍然让它不能通过。在隐私工具里,两种错误都很重要:漏报会让跟踪溜过去,而误报会弄坏页面,并让人们学会把工具关掉。

同样的代码,同样的分数

评分是确定性的:在同一个隐藏世界上运行同样的代码,你总是会得到同样的结果。当一个项目检查速度时,它统计的是相对于预算的操作次数,而从不看时钟上的时间,所以一台慢的笔记本电脑不会被扣分。

提交之前先检查你自己的报告

大多数没通过的提交,并不是想法错了;而是缺了一个字段或者打错了字。一个小小的自查就能发现这些:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
用其他语言实现

评分的是报告,而不是代码,所以任何能写 JSON 的语言都可以(因此你可以用你工作中使用的语言重写你的代表作)。

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

一个常见的误解

“我在练习世界上的分数是 100%,所以隐藏世界的分数也会是。”不一定。如果你的代码悄悄依赖于练习世界的细节,比如一份你从中复制来的跟踪器名称列表,它就会漏掉隐藏世界里的跟踪者。这叫作过拟合:拟合的是你看到的例子,而不是它们背后的规则。在提交之前,用几个由不同种子构建的练习世界测试你的逻辑(比如除了平常那个之外,再试试 build_world(seed=2))。

回顾

  • 隐藏世界评分会在一个由你没见过的种子生成的世界上运行你的作品,所以抄来的答案会失败,而真本事能通过。
  • 有些项目通过隐藏世界上的 JSON 报告评分,大多数通过隐藏测试评分;综合项目报告是给人看的,而不是给评分器的。
  • 发现按命中、漏报和误报来评判;两种错误都算数。
  • 评分是确定性的,统计的是操作次数,而不是时钟时间。提交之前先自查你报告的字段。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。