シラバス レッスン 156 中 152 · キャップストーン:プロジェクトをひとつ選ぶ
キャップストーン:プロジェクトをひとつ選ぶ

隠された世界はどう採点するか

なぜ大切か 何が確かめられるかを正確に知っていれば、推測する代わりに、そこへ努力を向けられます。確認の仕組みを知れば、それが公平な理由もわかります。答えを写して合格することは誰にもできないので、合格はあなたが本当にそれを作ったという意味です。

運転免許の試験を考えてください。家の近くの道で、どの角も知り尽くすまで練習します。当日、試験官は一度も走ったことのない道筋を選びます。交通の規則は同じですが、道は新しいので、合格する唯一の方法は実際に運転できることです。

各部のプロジェクトのいくつかは、まさにこのように採点されました。第 2 部のトラッカーラボ、第 5 部の端末の報告書、第 6 部の隠されたトラッカーの一式は、規則は同じでもサイト、名前、トラッカー、訪問者が違う 隠された世界 であなたのコードを動かしました。代表作のプロジェクトを一歩先へ進めるときは、その一歩を同じやり方でテストしてください。調整に使わなかった世界で、です。

隠された世界:見たことのない練習用の世界で、練習したものと同じ生成器から、違うシードで作られたものです。採点のためだけに使われます。

シード:ランダムな生成器の出発点となる数です。同じシードは常に同じ世界を作り、違うシードは違う世界を作ります。そうして採点は、全員に公平でありながら、あなたにとって新しいものでいられるのです。

2 種類の確認

  • 隠された世界と照らし合わせる報告書(第 2 部と第 5 部のプロジェクト)。コードが隠された世界を見て JSON の報告書 を書き、確認がそれを本当にそこにあるとわかっているものと比べます。
  • 隠されたテスト(ほとんどのラボと、第 3 部、第 4 部、第 6 部、第 7 部のプロジェクト)。確認が、見たことのない入力で関数を呼び、結果を確かめます。

キャップストーンの書き上げ(次のレッスン)は機械に採点されません。人に見せる部分です。そうすることで、自動の確認は、機械が公平に判断できることについてだけのものに保たれます。

JSON:角かっこのリストと波かっこのラベル付きの値でできた、データのためのただのテキストの形式です。Python の辞書とリストは、ほぼ 1 対 1 で JSON に変わります。

報告書の確認はどう見えるか

報告書は構造化された発見にすぎません。第 3 部のプロジェクトを、練習用の店の完全な監査へと一歩先へ進めるなら、報告書はこのように見えるかもしれません:

{
  "site": "shopa.example",
  "third_parties": ["adco.example", "cdn.example"],
  "trackers": ["adco.example"],
  "cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
  "csp_present": false
}

採点係はそれについていくつかの素朴な質問をします。正しい JSON か? 必要な項目が、正しい型でそろっているか? そして各発見について:それは本当に隠された世界にあるか?

当たり、見落とし、誤報

煙の警報器は、2 つの違うやり方で正しかったり間違ったりします。本物の火事の間に黙っている(見落とし)こともあれば、トーストを焼いただけで鳴る(誤報)こともあります。良い警報器は両方を少なく保ちます。あなたの発見も同じように判断されます。

真陽性:報告したものが本当にそこにある。偽陽性:そこにないものを報告した(誤報)。偽陰性:何かがそこにあるのに報告しなかった(見落とし)。

隠された世界で、ブロッカーが 20 のトラッカーのリクエストと 80 のふつうのリクエストを見るとしましょう。トラッカーのうち 19 をブロックし、さらに間違って、ページが必要としていたふつうのリクエストを 1 つブロックします。それは 19 の当たり、1 つの見落とし、1 つの誤報です。第 2 部では、こうした数を適合率(ブロックしたもののうち、本当にトラッカーだったのはいくつか)と再現率(本物のトラッカーのうち、いくつを捕まえたか)に変えました。

プロジェクトの合格の規則は、コースの計画にある「トラッカーのリクエストの少なくとも 95% をブロックし、偽陽性なし」のようなものかもしれません。ここで 20 のうち 19 はちょうど 95% ですが、間違ってブロックしたひとつのリクエストのせいで、やはり不合格です。プライバシーの道具では、どちらの間違いも大事です。見落としは追跡を通し、誤報はページを壊して、人に道具をオフにすることを覚えさせます。

同じコードなら、同じ点数

採点は 決定的 です。同じコードを同じ隠された世界で動かせば、常に同じ結果になります。プロジェクトが速さを確かめる場合は、時計の時間ではなく、予算に対する演算の回数を数えるので、遅いノートパソコンが減点されることはありません。

提出する前に自分の報告書を確かめる

不合格の提出のほとんどは、考えが間違っているのではなく、項目の欠けや打ち間違いです。小さなセルフチェックがそれを捕まえます:

import json

report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}

def missing_fields(report, required):
    # return the required field names that the report does not have
    return [name for name in required if name not in report]

print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties']  -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
ほかの言語では

採点されるのはコードではなく報告書なので、JSON を書けるどの言語でも働きます(だから代表作を、仕事で使う言語で作り直せます)。

JavaScript:

const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report)));  // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));

Go:

type Report struct {
    Site       string   `json:"site"`
    Trackers   []string `json:"trackers"`
    CSPPresent bool     `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", "  ")
fmt.Println(string(out))

C#:

var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));

よくある誤解

「練習用の世界での点数が 100% なので、隠された点数もそうなる」。いつもそうとは限りません。コードが、そこから写したトラッカーの名前の一覧のような、練習用の世界の細部にこっそり頼っていれば、隠された世界のトラッカーを見落とします。それは 過学習 と呼ばれます。背後にある規則ではなく、見た例に合わせてしまうことです。提出する前に、違うシードから作ったいくつかの練習用の世界(例えばいつものものに加えて build_world(seed=2))で、ロジックをテストしてください。

まとめ

  • 隠された世界での採点は、見たことのないシードの世界であなたの作業を動かすので、写した答えは失敗し、本物の技術は合格します。
  • 隠された世界での JSON の報告書で採点されるプロジェクトもあれば、ほとんどは隠されたテストで採点されます。キャップストーンの書き上げは採点係ではなく人のためのものです。
  • 発見は、当たり、見落とし、誤報で判断されます。どちらの種類の間違いも数えられます。
  • 採点は決定的で、時計の時間ではなく演算を数えます。提出する前に報告書の項目をセルフチェックしましょう。

このレッスンに問題を見つけましたか?報告する · このレッスンについて質問する

この演習はまもなく開きます

その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。