Chương trình học Bài 152 trên tổng số 156 · Dự án cuối khóa: chọn một dự án
Dự án cuối khóa: chọn một dự án

Thế giới ẩn chấm điểm bạn ra sao

Vì sao điều này quan trọng Nếu bạn biết chính xác cái gì được kiểm tra, bạn có thể dồn công sức vào đó thay vì đoán. Biết cách việc kiểm tra hoạt động cũng cho bạn biết vì sao nó công bằng: không ai qua được bằng cách chép đáp án, nên vượt qua nghĩa là bạn thật sự đã xây được thứ đó.

Hãy nghĩ tới một kỳ thi lái xe. Bạn luyện trên những con phố gần nhà cho tới khi thuộc mọi góc đường. Vào hôm thi, giám khảo chọn một tuyến đường bạn chưa bao giờ lái. Luật giao thông vẫn thế, nhưng phố xá thì mới, nên cách duy nhất để qua là thật sự biết lái.

Vài dự án chặng của bạn đã được chấm đúng theo cách này: Tracker Lab của Chặng 2, báo cáo thiết bị của Chặng 5 và bộ trình theo dõi ẩn của Chặng 6 đã chạy mã của bạn trên một thế giới ẩn có cùng các quy tắc nhưng khác trang, tên, bên theo dõi và khách truy cập. Khi bạn đưa dự án tiêu biểu đi thêm một bước, hãy kiểm tra bước đó theo cùng cách: trên một thế giới bạn đã không tinh chỉnh nó cho.

Thế giới ẩn: một thế giới luyện tập bạn chưa thấy, được dựng bởi cùng bộ sinh với cái bạn đã luyện tập, nhưng từ một seed khác. Nó chỉ được dùng để chấm điểm.

Seed: con số khởi đầu cho một bộ sinh ngẫu nhiên. Cùng một seed luôn dựng cùng một thế giới, và một seed khác dựng một thế giới khác. Đó là cách việc chấm điểm có thể công bằng với mọi người mà vẫn mới mẻ với bạn.

Hai kiểu kiểm tra

  • Một báo cáo được kiểm tra với một thế giới ẩn (các dự án Chặng 2 và Chặng 5). Mã của bạn nhìn vào thế giới ẩn và viết một báo cáo JSON; việc kiểm tra so sánh nó với những gì nó biết thật sự có ở đó.
  • Các bài kiểm tra ẩn (phần lớn các bài thực hành, và các dự án Chặng 3, 4, 6 và 7). Việc kiểm tra gọi các hàm của bạn với những đầu vào bạn chưa thấy và kiểm tra kết quả.

Bản báo cáo dự án cuối khóa của bạn (bài tiếp theo) không được chấm bởi máy: nó là phần bạn trưng cho một con người. Điều đó giữ cho các bước kiểm tra tự động chỉ nói về những thứ một cỗ máy có thể đánh giá công bằng.

JSON: một định dạng văn bản trơn cho dữ liệu, gồm các list trong ngoặc vuông và các giá trị có nhãn trong ngoặc nhọn. Một dict và list Python chuyển thành JSON gần như một đối một.

Một bước kiểm tra báo cáo trông ra sao

Một báo cáo chỉ là những phát hiện có cấu trúc. Nếu bạn đưa dự án Chặng 3 đi thêm một bước thành một cuộc kiểm toán đầy đủ một cửa hàng luyện tập, một báo cáo có thể trông như thế này:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

Người chấm hỏi vài câu đơn giản về nó. Nó có phải JSON hợp lệ không? Các trường bắt buộc có ở đó không, với đúng kiểu? Và với mỗi phát hiện: nó có thật sự có trong thế giới ẩn không?

Trúng, trượt và báo động nhầm

Một chiếc chuông báo khói có thể đúng hoặc sai theo hai cách khác nhau. Nó có thể im lặng trong một đám cháy thật (một lần trượt), hoặc nó có thể kêu khi bạn chỉ nướng bánh mì (một lần báo động nhầm). Một chiếc chuông tốt giữ cả hai ở mức thấp. Các phát hiện của bạn được đánh giá theo cùng cách.

Dương tính thật: bạn đã báo cáo một thứ và nó thật sự có ở đó. Dương tính giả: bạn đã báo cáo một thứ không có ở đó (một báo động nhầm). Âm tính giả: một thứ có ở đó và bạn đã không báo cáo nó (một lần trượt).

Giả sử bộ chặn của bạn, trên thế giới ẩn, thấy 20 yêu cầu theo dõi và 80 yêu cầu bình thường. Nó chặn 19 yêu cầu theo dõi và cũng, do nhầm lẫn, 1 yêu cầu bình thường mà một trang cần. Đó là 19 lần trúng, 1 lần trượt và 1 báo động nhầm. Ở Chặng 2 bạn đã biến những số đếm như thế này thành độ chính xác (bao nhiêu thứ bạn đã chặn thật sự là bên theo dõi) và độ phủ (bạn đã bắt được bao nhiêu bên theo dõi thật).

Một quy tắc vượt qua cho một dự án có thể đọc giống như quy tắc từ kế hoạch khóa học: "chặn ít nhất 95% số yêu cầu theo dõi, không có dương tính giả". Ở đây 19 trên 20 đúng bằng 95%, nhưng một yêu cầu bị chặn nhầm vẫn làm nó trượt. Trong các công cụ quyền riêng tư cả hai lỗi đều quan trọng: một lần trượt để việc theo dõi lọt qua, và một báo động nhầm làm hỏng trang và dạy mọi người tắt công cụ đi.

Cùng mã, cùng điểm

Việc chấm điểm là tất định: chạy cùng một mã trên cùng một thế giới ẩn và bạn luôn nhận cùng một kết quả. Ở nơi một dự án kiểm tra tốc độ, nó đếm số thao tác so với một ngân sách, không bao giờ đo thời gian trên đồng hồ, nên một máy tính xách tay chậm không bị trừ điểm.

Tự kiểm tra báo cáo trước khi nộp

Phần lớn các bài nộp trượt không phải vì ý tưởng sai; chúng là một trường bị thiếu hay một lỗi gõ. Một bước tự kiểm tra nhỏ bắt được những lỗi đó:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
Trong các ngôn ngữ khác

Báo cáo được chấm, không phải mã, nên bất kỳ ngôn ngữ nào viết được JSON đều dùng được (vậy là bạn có thể viết lại dự án tiêu biểu bằng ngôn ngữ bạn dùng ở chỗ làm).

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

Một hiểu lầm phổ biến

"Điểm trên thế giới luyện tập của tôi là 100%, nên điểm ẩn cũng sẽ vậy." Không phải lúc nào cũng thế. Nếu mã của bạn lặng lẽ phụ thuộc vào các chi tiết của thế giới luyện tập, như một danh sách tên bên theo dõi bạn chép từ đó, nó sẽ bỏ sót các bên theo dõi trong thế giới ẩn. Điều đó gọi là quá khớp (overfitting): khớp với những ví dụ bạn đã thấy thay vì quy tắc đằng sau chúng. Hãy kiểm tra logic của bạn trên vài thế giới luyện tập dựng từ các seed khác nhau (ví dụ build_world(seed=2) cũng như cái thường dùng) trước khi nộp.

Tóm tắt

  • Chấm điểm bằng thế giới ẩn chạy công việc của bạn trên một thế giới từ một seed bạn chưa thấy, nên đáp án chép lại thì trượt và kỹ năng thật thì qua.
  • Một số dự án được chấm bằng một báo cáo JSON trên một thế giới ẩn, phần lớn bằng các bài kiểm tra ẩn; bản báo cáo dự án cuối khóa là cho con người, không phải cho người chấm máy.
  • Các phát hiện được đánh giá theo số lần trúng, trượt và báo động nhầm; cả hai kiểu lỗi đều tính.
  • Việc chấm điểm là tất định và đếm số thao tác, không phải thời gian đồng hồ. Hãy tự kiểm tra các trường của báo cáo trước khi nộp.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.