隠された世界はどう採点するか
なぜ大切か 何が確かめられるかを正確に知っていれば、推測する代わりに、そこへ努力を向けられます。確認の仕組みを知れば、それが公平な理由もわかります。答えを写して合格することは誰にもできないので、合格はあなたが本当にそれを作ったという意味です。
運転免許の試験を考えてください。家の近くの道で、どの角も知り尽くすまで練習します。当日、試験官は一度も走ったことのない道筋を選びます。交通の規則は同じですが、道は新しいので、合格する唯一の方法は実際に運転できることです。
各部のプロジェクトのいくつかは、まさにこのように採点されました。第 2 部のトラッカーラボ、第 5 部の端末の報告書、第 6 部の隠されたトラッカーの一式は、規則は同じでもサイト、名前、トラッカー、訪問者が違う 隠された世界 であなたのコードを動かしました。代表作のプロジェクトを一歩先へ進めるときは、その一歩を同じやり方でテストしてください。調整に使わなかった世界で、です。
隠された世界:見たことのない練習用の世界で、練習したものと同じ生成器から、違うシードで作られたものです。採点のためだけに使われます。
シード:ランダムな生成器の出発点となる数です。同じシードは常に同じ世界を作り、違うシードは違う世界を作ります。そうして採点は、全員に公平でありながら、あなたにとって新しいものでいられるのです。
2 種類の確認
- 隠された世界と照らし合わせる報告書(第 2 部と第 5 部のプロジェクト)。コードが隠された世界を見て JSON の報告書 を書き、確認がそれを本当にそこにあるとわかっているものと比べます。
- 隠されたテスト(ほとんどのラボと、第 3 部、第 4 部、第 6 部、第 7 部のプロジェクト)。確認が、見たことのない入力で関数を呼び、結果を確かめます。
キャップストーンの書き上げ(次のレッスン)は機械に採点されません。人に見せる部分です。そうすることで、自動の確認は、機械が公平に判断できることについてだけのものに保たれます。
JSON:角かっこのリストと波かっこのラベル付きの値でできた、データのためのただのテキストの形式です。Python の辞書とリストは、ほぼ 1 対 1 で JSON に変わります。
報告書の確認はどう見えるか
報告書は構造化された発見にすぎません。第 3 部のプロジェクトを、練習用の店の完全な監査へと一歩先へ進めるなら、報告書はこのように見えるかもしれません:
{
"site": "shopa.example",
"third_parties": ["adco.example", "cdn.example"],
"trackers": ["adco.example"],
"cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
"csp_present": false
}
採点係はそれについていくつかの素朴な質問をします。正しい JSON か? 必要な項目が、正しい型でそろっているか? そして各発見について:それは本当に隠された世界にあるか?
当たり、見落とし、誤報
煙の警報器は、2 つの違うやり方で正しかったり間違ったりします。本物の火事の間に黙っている(見落とし)こともあれば、トーストを焼いただけで鳴る(誤報)こともあります。良い警報器は両方を少なく保ちます。あなたの発見も同じように判断されます。
真陽性:報告したものが本当にそこにある。偽陽性:そこにないものを報告した(誤報)。偽陰性:何かがそこにあるのに報告しなかった(見落とし)。
隠された世界で、ブロッカーが 20 のトラッカーのリクエストと 80 のふつうのリクエストを見るとしましょう。トラッカーのうち 19 をブロックし、さらに間違って、ページが必要としていたふつうのリクエストを 1 つブロックします。それは 19 の当たり、1 つの見落とし、1 つの誤報です。第 2 部では、こうした数を適合率(ブロックしたもののうち、本当にトラッカーだったのはいくつか)と再現率(本物のトラッカーのうち、いくつを捕まえたか)に変えました。
プロジェクトの合格の規則は、コースの計画にある「トラッカーのリクエストの少なくとも 95% をブロックし、偽陽性なし」のようなものかもしれません。ここで 20 のうち 19 はちょうど 95% ですが、間違ってブロックしたひとつのリクエストのせいで、やはり不合格です。プライバシーの道具では、どちらの間違いも大事です。見落としは追跡を通し、誤報はページを壊して、人に道具をオフにすることを覚えさせます。
同じコードなら、同じ点数
採点は 決定的 です。同じコードを同じ隠された世界で動かせば、常に同じ結果になります。プロジェクトが速さを確かめる場合は、時計の時間ではなく、予算に対する演算の回数を数えるので、遅いノートパソコンが減点されることはありません。
提出する前に自分の報告書を確かめる
不合格の提出のほとんどは、考えが間違っているのではなく、項目の欠けや打ち間違いです。小さなセルフチェックがそれを捕まえます:
import json
report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}
def missing_fields(report, required):
# return the required field names that the report does not have
return [name for name in required if name not in report]
print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties'] -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
ほかの言語では
採点されるのはコードではなく報告書なので、JSON を書けるどの言語でも働きます(だから代表作を、仕事で使う言語で作り直せます)。
JavaScript:
const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report))); // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));
Go:
type Report struct {
Site string `json:"site"`
Trackers []string `json:"trackers"`
CSPPresent bool `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", " ")
fmt.Println(string(out))
C#:
var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));
よくある誤解
「練習用の世界での点数が 100% なので、隠された点数もそうなる」。いつもそうとは限りません。コードが、そこから写したトラッカーの名前の一覧のような、練習用の世界の細部にこっそり頼っていれば、隠された世界のトラッカーを見落とします。それは 過学習 と呼ばれます。背後にある規則ではなく、見た例に合わせてしまうことです。提出する前に、違うシードから作ったいくつかの練習用の世界(例えばいつものものに加えて build_world(seed=2))で、ロジックをテストしてください。
まとめ
- 隠された世界での採点は、見たことのないシードの世界であなたの作業を動かすので、写した答えは失敗し、本物の技術は合格します。
- 隠された世界での JSON の報告書で採点されるプロジェクトもあれば、ほとんどは隠されたテストで採点されます。キャップストーンの書き上げは採点係ではなく人のためのものです。
- 発見は、当たり、見落とし、誤報で判断されます。どちらの種類の間違いも数えられます。
- 採点は決定的で、時計の時間ではなく演算を数えます。提出する前に報告書の項目をセルフチェックしましょう。
この演習はまもなく開きます
その前のレッスンを終えると、このレッスンが解放されます。コース全体が無料でアカウントも不要、このレッスンは今すぐ読めます。
このブラウザは learn.floati.life の Cookie をブロックしているため、ここで修了したレッスンを順番どおりに開けません。このサイトの Cookie を許可して再読み込みしてください。