Lehrplan Lektion 152 von 156 · Capstone: wähle ein Projekt
Capstone: wähle ein Projekt

Wie die verborgene Welt dich bewertet

Warum das wichtig ist Wenn du genau weißt, was geprüft wird, kannst du deine Anstrengungen gezielt darauf ausrichten, anstatt zu raten. Zu wissen, wie die Prüfung funktioniert, zeigt dir auch, warum sie fair ist: Niemand kann durch Kopieren von Antworten bestehen, also bedeutet ein Bestehen, dass du die Sache wirklich gebaut hast.

Denk an eine Fahrprüfung. Du übst auf den Straßen in der Nähe deines Zuhauses, bis du jede Ecke kennst. Am Tag der Prüfung wählt der Prüfer eine Route aus, die du noch nie gefahren bist. Die Verkehrsregeln sind dieselben, aber die Straßen sind neu, also ist der einzige Weg zum Bestehen, tatsächlich fahren zu können.

Mehrere deiner Leg-Projekte wurden genau so bewertet: Das Etappe 2 Tracker Lab, der Etappe 5 Gerätebericht und die Etappe 6 hidden tracker suite führten deinen Code in einer hidden world mit denselben Regeln aber anderen Standorten, Namen, Trackern und Besuchern aus. Wenn du dein Showcase-Projekt einen Schritt weitergehst, teste diesen Schritt auf die gleiche Weise: auf einer Welt, auf der du es nicht abgestimmt hast.

Verborgene Welt: eine Übungswelt, die du noch nicht gesehen hast, erstellt vom selben Generator wie die, auf der du geübt hast, aber aus einem anderen Seed. Sie wird nur für die Benotung verwendet.

Seed: die Startzahl für einen Zufallsgenerator. Der gleiche Seed baut immer die gleiche Welt, und ein anderer Seed baut eine andere. So kann die Bewertung für alle fair sein und dir trotzdem neu erscheinen.

Zwei Arten von Prüfungen

  • A Bericht, der gegen eine verborgene Welt geprüft wird (die Projekte Etappe 2 und Etappe 5). Dein Code schaut in die verborgene Welt und schreibt einen JSON Bericht; die Prüfung vergleicht ihn mit dem, was er wirklich dort weiß.
  • Versteckte Tests (die meisten Labs und die Projekte der Etappe 3, 4, 6 und 7). Der Check ruft deine Funktionen mit Eingaben auf, die du nicht gesehen hast, und prüft die Ergebnisse.

Dein Capstone-Bericht (nächste Lektion) wird nicht von einer Maschine bewertet: es ist der Teil, den du einer Person zeigst. Das hält die automatischen Prüfungen über Dinge, die eine Maschine fair beurteilen kann, getrennt.

JSON: ein reines Textformat für Daten, bestehend aus Listen in eckigen Klammern und beschrifteten Werten in geschweiften Klammern. Ein Python dict und list werden fast eins zu eins in JSON umgewandelt.

Wie eine Berichtsüberprüfung aussieht

Der

A Bericht sind nur strukturierte Ergebnisse. Wenn du das Etappe 3 Projekt einen Schritt weiter zu einem vollständigen Audit eines Praxisshops gehst, könnte ein Bericht so aussehen:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

Der Grader stellt ein paar einfache Fragen dazu. Ist es gültiges JSON? Sind die erforderlichen Felder da, mit den richtigen Typen? Und für jeden Fund: ist er wirklich in der versteckten Welt?

Hits, Fehler und Fehlalarme

Ein

A Rauchmelder kann auf zwei verschiedene Arten richtig oder falsch sein. Er kann während eines echten Feuers still bleiben (ein miss), oder er kann losgehen, wenn du nur Toast gemacht hast (ein false alarm). Ein guter Alarm hält beides niedrig. Deine Ergebnisse werden auf die gleiche Weise beurteilt.

True positive: du hast etwas gemeldet und es ist wirklich da. False positive: du hast etwas gemeldet das nicht da ist (ein Fehlalarm). False negative: etwas ist da und du hast es nicht gemeldet (ein Fehler).

Sag dein Blocker in der verborgenen Welt, dass er 20 Tracker-Anfragen und 80 gewöhnliche sieht. Er blockiert 19 der Tracker und auch, aus Versehen, 1 gewöhnliche Anfrage, die eine Seite brauchte. Das sind 19 Treffer, 1 Fehler und 1 Fehlalarm. In Etappe 2 hast du Zählwerte wie diese in Präzision (wie viele der Dinge, die du blockiert hast, wirklich Tracker waren) und Recall (wie viele der echten Tracker du erwischt hast) umgewandelt.

Die

A Pass-Regel für ein Projekt könnte wie die aus dem Kursplan aussehen: "mindestens 95% der Tracker-Anfragen blockiert, keine falsch-positiven Ergebnisse". Hier sind 19 von 20 genau 95%, aber die eine fälschlicherweise blockierte Anfrage führt trotzdem zum Scheitern. Bei Datenschutz-Tools zählen beide Fehler: ein Fehler lässt das Tracking durch, und ein Fehlalarm zerstört die Seite und bringt die Leute dazu, das Tool auszuschalten.

Gleicher Code, gleicher Score

Bewertung ist deterministic: führe den gleichen Code auf derselben versteckten Welt aus und du erhältst immer das gleiche Ergebnis. Wo ein Projekt die Geschwindigkeit prüft, zählt es Operationen gegen ein Budget, niemals die Zeit auf einer Uhr, also wird ein langsamer Laptop nicht abgestraft.

Überprüfe deinen eigenen Bericht vor dem Absenden

Die meisten fehlgeschlagenen Einsendungen sind keine falschen Ideen; es ist ein fehlendes Feld oder ein Tippfehler. Eine kleine Selbstkontrolle fängt diese ab:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
In anderen Sprachen

Der Bericht wird bewertet, nicht der Code, also funktioniert jede Sprache, die JSON schreibt (du kannst deine Showcase also in der Sprache neu aufbauen, die du bei der Arbeit verwendest).

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

Ein häufiges Missverständnis

"Mein Score in der Übungswelt ist 100%, also wird der versteckte Score es auch sein." Nicht immer. Wenn dein Code leise von Details der Übungswelt abhängt, wie zum Beispiel einer Liste von Tracker-Namen, die du daraus kopiert hast, wird er Tracker in der versteckten Welt verpassen. Das nennt man overfitting: das Anpassen an die Beispiele, die du gesehen hast, anstatt an die Regel dahinter. Teste deine Logik an ein paar Übungswelten, die aus verschiedenen Seeds gebaut wurden (zum Beispiel build_world(seed=2) sowie die übliche eine), bevor du einreichst.

Zusammenfassung

  • Hidden-world grading führt deine Arbeit auf einer Welt aus einem Seed aus, den du nicht gesehen hast, also schlagen kopierte Antworten fehl und echtes Können besteht.
  • Einige Projekte werden durch einen JSON-Bericht in einer versteckten Welt bewertet, die meisten durch versteckte Tests; der Capstone-Bericht ist für Menschen, nicht für einen Korrektor.
  • Ergebnisse werden anhand von Treffern, verpassten Zielen und Fehlalarmen beurteilt; beide Arten von Fehlern zählen.
  • Die Bewertung ist deterministisch und zählt Operationen, keine Uhrzeit. Überprüfe die Felder deines Berichts selbst, bevor du ihn einreichst.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.