Gizli dünyanın seni nasıl puanladığı
Neden önemli Nelerin kontrol edildiğini tam olarak bilirsen, tahmin yürütmek yerine çabanı ona odaklayabilirsin. Kontrolün nasıl çalıştığını bilmek aynı zamanda neden adil olduğunu da söyler: kimse cevapları kopyalayarak geçemez, bu yüzden geçmek gerçekten o şeyi inşa ettiğin anlamına gelir.
Bir direksiyon sınavı düşün. Her köşeyi öğrenene kadar evinin yakınındaki sokaklarda pratik yaparsın. Sınav günü, sınav görevlisi daha önce hiç sürmediğin bir rota seçer. Yol kuralları aynıdır ama sokaklar yenidir, bu yüzden geçmenin tek yolu gerçekten sürebilmektir.
Bazı leg projelerin tam olarak bu şekilde notlandırıldı: Etap 2 Tracker Lab, Etap 5 cihaz raporu ve Etap 6 hidden tracker suite, aynı kurallara sahip ancak farklı siteler, isimler, trackerlar ve ziyaretçilerin olduğu bir hidden world üzerinde kodunu çalıştırdı. Showcase projeni bir adım ileri götürdüğünde, o adımı aynı şekilde test et: üzerinde ayar yapmadığın bir dünyada.
Gizli dünya: üzerinde pratik yaptığınla aynı jeneratör tarafından oluşturulmuş ancak farklı bir tohumdan gelen, henüz görmediğin bir pratik dünyası. Sadece notlandırma için kullanılır.
Seed: rastgele bir üretici için başlangıç sayısı. Aynı seed her zaman aynı dünyayı oluşturur, farklı bir seed ise farklı bir dünya oluşturur. Notlandırmanın herkes için adil olması ve senin için hala yeni kalması bu sayede mümkün olur.
İki çeşit kontrol
- A gizli bir dünya ile karşılaştırılmış bir rapor (Etap 2 ve Etap 5 projeleri). Kodun gizli dünyaya bakıyor ve bir JSON raporu yazıyor; kontrol ise bunu gerçekte orada ne olduğunu bildiği şeyle karşılaştırıyor.
- Gizli testler (çoğu laboratuvar ve Etap 3, 4, 6 ve 7 projeleri). Kontrol, fonksiyonlarını görmediğin girdilerle çağırır ve sonuçları denetler.
Bitirme ödevin (gelecek ders) bir makine tarafından notlandırılmaz: bu, bir kişiye gösterdiğin kısımdır. Bu durum, otomatik kontrolleri bir makinenin adilce yargılayabileceği şeyler için saklı tutar.
JSON: köşeli parantez içindeki listelerden ve süslü parantez içindeki etiketli değerlerden oluşan, veri için düz metin formatı. Bir Python dict ve listesi neredeyse bire bir şekilde JSON olur.
Rapor kontrolünün nasıl göründüğü
A raporu sadece yapılandırılmış bulgulardan ibarettir. Eğer Etap 3 projesini bir uygulama atölyesinin tam denetimine doğru bir adım daha ileriye taşırsan, bir rapor şuna benzeyebilir:
{
"site": "shopa.example",
"third_parties": ["adco.example", "cdn.example"],
"trackers": ["adco.example"],
"cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
"csp_present": false
}
Değerlendirici bununla ilgili birkaç basit soru soruyor. Geçerli bir JSON mu? Gerekli alanlar doğru türlerle orada mı? Ve her bir bulgu için: gerçekten gizli dünyada mı?
Hitler, kaçırılanlar ve yanlış alarmlar
A duman alarmı iki farklı şekilde hatalı olabilir. Gerçek bir yangın sırasında (bir miss) sessiz kalabilir veya sadece tost yaptığında (bir false alarm) çalabilir. İyi bir alarm her ikisini de düşük tutar. Bulguların aynı şekilde değerlendirilir.
Doğru pozitif: bir şey bildirdin ve o gerçekten orada. Yanlış pozitif: orada olmayan bir şey bildirdin (yanlış alarm). Yanlış negatif: bir şey var ve sen onu bildirmedin (kaçırılan).
Gizli dünyadaki blocker'ın 20 tracker isteği ve 80 sıradan istek görüyor. Tracker'ların 19'unu ve ayrıca yanlışlıkla bir sayfanın ihtiyaç duyduğu 1 sıradan isteği engelliyor. Bu 19 hit, 1 miss ve 1 false alarm demek. Etap 2'de bu sayıları precision (engellediğin şeylerin kaçı gerçekten tracker'dı) ve recall (gerçek tracker'ların kaçını yakaladın) değerlerine dönüştürdün.
A bir proje için geçme kuralı kurs planındaki gibi olabilir: "takipçi isteklerinin en az %95'i engellendi, hiç yanlış pozitif yok". Burada 20'de 19 tam olarak %95 eder ama yanlışlıkla engellenen o tek istek kuralı yine de bozar. Gizlilik araçlarında her iki hata da önemlidir: bir kaçırma takibin geçmesine izin verir, bir yanlış alarm ise sayfayı bozar ve insanlara aracı kapatmayı öğretir.
Aynı kod, aynı puan
Notlandırma belirlidir: aynı gizli dünya üzerinde aynı kodu çalıştırdığında her zaman aynı sonucu alırsın. Bir projenin hızı kontrol ettiği yerlerde, bir bütçeye karşı işlemleri sayar, asla saatteki süreyi değil, bu yüzden yavaş bir dizüstü bilgisayar puan kaybedmez.
Göndermeden önce kendi raporunu kontrol et
Başarısız gönderilerin çoğu yanlış fikirler değil; eksik bir alan veya yazım hatasıdır. Küçük bir öz denetim bunları yakalar:
import json
report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}
def missing_fields(report, required):
# return the required field names that the report does not have
return [name for name in required if name not in report]
print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties'] -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
Diğer dillerde
Rapor notlandırılıyor, kod değil, bu yüzden JSON yazan her dil çalışır (yani sergilemeni iş yerinde kullandığın dilde yeniden oluşturabilirsin).
JavaScript:
const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report))); // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));
Git:
type Report struct {
Site string `json:"site"`
Trackers []string `json:"trackers"`
CSPPresent bool `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", " ")
fmt.Println(string(out))
C#:
var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));
Yaygın bir yanılgı
"Pratik dünyadaki puanım %100, bu yüzden gizli dünyadaki puan da öyle olacak." Her zaman değil. Eğer kodun, kopyaladığın takipçi isimleri listesi gibi pratik dünyadaki detaylara sessizce bağlıysa, gizli dünyadaki takipçileri kaçıracaktır. Buna overfitting denir: kurallar yerine gördüğün örneklere uymak. Göndermeden önce mantığını farklı tohumlardan oluşturulmuş birkaç pratik dünyada (örneğin build_world(seed=2) ve alışılmış olanın dışında) test et.
Özet
- Hidden-world grading çalışmanı görmediğin bir tohumdan gelen bir dünyada çalıştırır, bu yüzden kopyalanmış cevaplar başarısız olur ve gerçek beceri geçer.
- Bazı projeler gizli bir dünyadaki JSON raporuyla, çoğu ise gizli testlerle değerlendirilir; bitirme raporu insanlar içindir, bir değerlendirici için değil.
- Bulgular; isabetler, kaçırılanlar ve yanlış alarmlar üzerinden değerlendirilir; her iki hata türü de sayılır.
- Notlandırma deterministiktir ve saat süresini değil, işlemleri sayar. Göndermeden önce raporunun alanlarını kendi kendine kontrol et.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.