Silabus Pelajaran 152 dari 156 · Capstone: pilih satu proyek
Capstone: pilih satu proyek

Bagaimana dunia tersembunyi memberimu nilai

Kenapa ini penting Kalau kamu tahu persis apa yang diperiksa, kamu bisa fokus ke sana daripada menebak. Mengetahui cara kerja pemeriksaan juga memberitahu kamu kenapa ini adil: tidak ada yang bisa lulus dengan menyalin jawaban, jadi lulus berarti kamu benar-benar membangunnya.

Bayangkan ujian mengemudi. Kamu berlatih di jalanan dekat rumahmu sampai kamu hafal setiap sudutnya. Pada hari H, penguji memilih rute yang belum pernah kamu lalui. Aturan jalan tetap sama, tapi jalannya baru, jadi satu-satunya cara untuk lulus adalah dengan benar-benar bisa menyetir.

Beberapa proyek Leg kamu dinilai persis seperti ini: Tahap 2 Tracker Lab, laporan perangkat Tahap 5, dan Tahap 6 hidden tracker suite menjalankan kode kamu di hidden world dengan aturan yang sama tapi situs, nama, tracker, dan pengunjung yang berbeda. Saat kamu membawa proyek showcase kamu selangkah lebih jauh, uji langkah itu dengan cara yang sama: pada world yang tidak kamu atur.

Dunia tersembunyi: dunia latihan yang belum kamu lihat, dibuat oleh generator yang sama dengan yang kamu gunakan untuk latihan, tapi dari seed yang berbeda. Ini hanya digunakan untuk penilaian.

Seed: angka awal untuk generator acak. Seed yang sama selalu membangun dunia yang sama, dan seed yang berbeda membangun dunia yang berbeda. Begitulah cara penilaian bisa adil untuk semua orang dan tetap terasa baru buat kamu.

Dua jenis pengecekan

  • A laporan yang diperiksa terhadap dunia tersembunyi (proyek Tahap 2 dan Tahap 5). Kode kamu melihat dunia tersembunyi dan menulis laporan JSON; pemeriksaan membandingkannya dengan apa yang benar-benar ada di sana.
  • Tes tes tersembunyi (sebagian besar lab, dan proyek Tahap 3, 4, 6, dan 7). Pemeriksaan memanggil fungsi kamu dengan input yang belum kamu lihat dan memeriksa hasilnya.

Tulisan capstone kamu (pelajaran berikutnya) tidak dinilai oleh mesin: itu adalah bagian yang kamu tunjukkan ke orang. Itu menjaga agar pemeriksaan otomatis tetap untuk hal yang bisa dinilai mesin secara adil.

JSON: format teks biasa untuk data, terdiri dari list dalam kurung siku dan nilai berlabel dalam kurung kurawal. Python dict dan list berubah menjadi JSON hampir satu banding satu.

Seperti apa tampilan pengecekan laporan

Laporan

A hanyalah temuan yang terstruktur. Jika kamu membawa proyek Tahap 3 selangkah lebih jauh menjadi audit penuh untuk toko praktik, laporan bisa terlihat seperti ini:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

Grader mengajukan beberapa pertanyaan sederhana tentang itu. Apakah itu JSON yang valid? Apakah field yang dibutuhkan ada, dengan tipe yang benar? Dan untuk setiap temuan: apakah itu benar-benar ada di hidden world?

Hits, misses, dan false alarms

A alarm asap bisa benar atau salah dalam dua cara berbeda. Bisa tetap diam saat ada kebakaran sungguhan (miss), atau bisa berbunyi saat kamu cuma bikin roti bakar (false alarm). Alarm yang bagus menjaga keduanya tetap rendah. Temuan kamu dinilai dengan cara yang sama.

True positive: kamu melaporkan sesuatu dan itu benar-benar ada. False positive: kamu melaporkan sesuatu yang tidak ada (salah lapor). False negative: ada sesuatu tapi kamu tidak melaporkannya (terlewat).

Bayangkan blocker kamu di dunia tersembunyi melihat 20 permintaan tracker dan 80 permintaan biasa. Dia memblokir 19 tracker dan juga, secara tidak sengaja, 1 permintaan biasa yang dibutuhkan sebuah halaman. Itu berarti 19 hits, 1 miss, dan 1 false alarm. Di Tahap 2 kamu mengubah hitungan seperti ini menjadi precision (berapa banyak hal yang kamu blokir yang benar-benar tracker) dan recall (berapa banyak tracker asli yang kamu tangkap).

A aturan pass untuk sebuah proyek mungkin mirip dengan yang ada di rencana kursus: "memblokir setidaknya 95% permintaan tracker, tidak ada false positives". Di sini 19 dari 20 adalah tepat 95%, tapi satu permintaan yang salah diblokir tetap membuatnya gagal. Dalam alat privasi kedua kesalahan itu penting: sebuah miss membiarkan pelacakan masuk, dan alarm palsu merusak halaman dan mengajari orang untuk mematikan alat tersebut.

Kode sama, skor sama

Grading itu deterministic: jalankan kode yang sama pada hidden world yang sama dan kamu selalu dapat hasil yang sama. Di mana proyek mengecek kecepatan, itu menghitung operasi terhadap budget, bukan waktu pada jam, jadi laptop lambat tidak dikurangi nilainya.

Cek laporanmu sendiri sebelum mengirim

Kebanyakan pengiriman yang gagal bukan karena ide yang salah; itu hanya kolom yang kosong atau salah ketik. Pengecekan mandiri kecil bisa menangkap hal itu:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
Di bahasa lain

Laporannya dinilai, bukan kodenya, jadi bahasa apa pun yang bisa menulis JSON bisa dipakai (jadi kamu bisa membangun ulang showcase kamu di bahasa yang kamu pakai di tempat kerja).

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

Kesalahpahaman umum

"Skor dunia latihan saya 100%, jadi skor tersembunyi juga akan begitu." Tidak selalu. Jika kode kamu diam-diam bergantung pada detail dunia latihan, seperti daftar nama tracker yang kamu salin darinya, kode itu akan melewatkan tracker di dunia tersembunyi. Itu disebut overfitting: menyesuaikan dengan contoh yang kamu lihat alih-alih aturan di baliknya. Uji logika kamu pada beberapa dunia latihan yang dibangun dari seed berbeda (misalnya build_world(seed=2) serta yang biasa) sebelum kamu mengirimnya.

Ringkasan

  • Penilaian Hidden-world menjalankan tugasmu pada dunia dari seed yang belum kamu lihat, jadi jawaban hasil copas akan gagal dan keahlian asli akan lolos.
  • Beberapa proyek dinilai dengan laporan JSON di world tersembunyi, sebagian besar oleh hidden tests; tulisan capstone adalah untuk manusia, bukan untuk grader.
  • Hasilnya dinilai dari hits, misses, dan false alarms; kedua jenis kesalahan dihitung.
  • Penilaian bersifat deterministik dan menghitung operasi, bukan waktu jam. Periksa kembali kolom laporanmu sebelum dikirim.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.