Como o mundo oculto avalia você
Por que isso importa Se você sabe exatamente o que é verificado, pode mirar seu esforço nisso em vez de adivinhar. Saber como a verificação funciona também mostra por que ela é justa: ninguém passa copiando respostas, então uma aprovação significa que você realmente construiu a coisa.
Pense numa prova de direção. Você treina nas ruas perto de casa até conhecer cada esquina. No dia, o examinador escolhe um trajeto que você nunca dirigiu. As regras de trânsito são as mesmas, mas as ruas são novas, então o único jeito de passar é realmente saber dirigir.
Vários dos seus projetos de etapa foram avaliados exatamente assim: o Tracker Lab da Etapa 2, o relatório do dispositivo da Etapa 5 e o conjunto oculto de rastreadores da Etapa 6 rodaram o seu código num mundo oculto com as mesmas regras, mas sites, nomes, rastreadores e visitantes diferentes. Quando você levar o seu projeto vitrine um passo adiante, teste esse passo do mesmo jeito: num mundo em que você não o ajustou.
Mundo oculto: um mundo de prática que você não viu, construído pelo mesmo gerador daquele em que você treinou, mas a partir de uma semente diferente. Ele é usado só para avaliar.
Semente: o número inicial de um gerador aleatório. A mesma semente sempre constrói o mesmo mundo, e uma semente diferente constrói outro. É assim que a avaliação consegue ser justa com todos e ainda ser nova para você.
Dois tipos de verificação
- Um relatório verificado contra um mundo oculto (os projetos das Etapas 2 e 5). Seu código examina o mundo oculto e escreve um relatório JSON; a verificação compara com o que ela sabe que realmente está lá.
- Testes ocultos (a maioria dos laboratórios, e os projetos das Etapas 3, 4, 6 e 7). A verificação chama suas funções com entradas que você não viu e confere os resultados.
O texto do seu projeto final (próxima lição) não é avaliado por uma máquina: é a parte que você mostra a uma pessoa. Isso mantém as verificações automáticas focadas no que uma máquina consegue julgar com justiça.
JSON: um formato de texto simples para dados, feito de listas entre colchetes e valores rotulados entre chaves. Um dict e uma list do Python viram JSON quase um para um.
Como é a verificação de um relatório
Um relatório é só um conjunto estruturado de descobertas. Se você levar o projeto da Etapa 3 um passo adiante, até uma auditoria completa de uma loja de prática, um relatório poderia ser assim:
{
"site": "shopa.example",
"third_parties": ["adco.example", "cdn.example"],
"trackers": ["adco.example"],
"cookies": [{"name": "uid", "domain": "adco.example", "third_party": true}],
"csp_present": false
}
O avaliador faz algumas perguntas simples sobre ele. É um JSON válido? Os campos obrigatórios estão lá, com os tipos certos? E para cada descoberta: ela realmente está no mundo oculto?
Acertos, erros e alarmes falsos
Um detector de fumaça pode acertar ou errar de dois jeitos diferentes. Ele pode ficar quieto durante um incêndio de verdade (um erro), ou pode disparar quando você só queimou uma torrada (um alarme falso). Um bom detector mantém os dois baixos. Suas descobertas são julgadas do mesmo jeito.
Verdadeiro positivo: você relatou algo e realmente está lá. Falso positivo: você relatou algo que não está lá (um alarme falso). Falso negativo: algo está lá e você não relatou (um erro).
Digamos que o seu bloqueador, no mundo oculto, vê 20 requisições de rastreadores e 80 comuns. Ele bloqueia 19 dos rastreadores e também, por engano, 1 requisição comum de que uma página precisava. São 19 acertos, 1 erro e 1 alarme falso. Na Etapa 2 você transformou contagens como essas em precisão (quantas das coisas que você bloqueou eram mesmo rastreadores) e revocação (quantos dos rastreadores reais você pegou).
Uma regra de aprovação para um projeto poderia ser como a do plano do curso: "bloqueou pelo menos 95% das requisições de rastreadores, sem falsos positivos". Aqui 19 de 20 é exatamente 95%, mas a única requisição bloqueada por engano ainda reprova. Em ferramentas de privacidade os dois erros importam: um erro deixa o rastreamento passar, e um alarme falso quebra a página e ensina as pessoas a desligar a ferramenta.
Mesmo código, mesma nota
A avaliação é determinística: rode o mesmo código no mesmo mundo oculto e você sempre recebe o mesmo resultado. Quando um projeto verifica velocidade, ele conta operações contra um orçamento, nunca o tempo no relógio, então um notebook lento não perde pontos.
Confira o seu próprio relatório antes de enviar
A maioria dos envios reprovados não tem ideias erradas; tem um campo faltando ou um erro de digitação. Uma pequena autoverificação pega isso:
import json
report = {"site": "shopa.example", "trackers": ["adco.example"], "csp_present": False}
def missing_fields(report, required):
# return the required field names that the report does not have
return [name for name in required if name not in report]
print(missing_fields(report, ["site", "third_parties", "trackers", "csp_present"]))
# ['third_parties'] -> add it before you submit
print(json.dumps(report, indent=2, sort_keys=True))
Em outras linguagens
O que é avaliado é o relatório, não o código, então qualquer linguagem que escreva JSON serve (assim você pode reconstruir a sua vitrine na linguagem que usa no trabalho).
JavaScript:
const report = { site: "shopa.example", trackers: ["adco.example"], csp_present: false };
const required = ["site", "third_parties", "trackers", "csp_present"];
console.log(required.filter(name => !(name in report))); // [ 'third_parties' ]
console.log(JSON.stringify(report, null, 2));
Go:
type Report struct {
Site string `json:"site"`
Trackers []string `json:"trackers"`
CSPPresent bool `json:"csp_present"`
}
out, _ := json.MarshalIndent(Report{Site: "shopa.example", Trackers: []string{"adco.example"}}, "", " ")
fmt.Println(string(out))
C#:
var report = new { site = "shopa.example", trackers = new[] { "adco.example" }, csp_present = false };
Console.WriteLine(System.Text.Json.JsonSerializer.Serialize(report));
Um equívoco comum
"Minha nota no mundo de prática é 100%, então a oculta também vai ser." Nem sempre. Se o seu código depende em silêncio de detalhes do mundo de prática, como uma lista de nomes de rastreadores copiada dele, ele vai deixar passar rastreadores no mundo oculto. Isso se chama sobreajuste (overfitting): encaixar nos exemplos que você viu em vez de na regra por trás deles. Teste a sua lógica em alguns mundos de prática construídos com sementes diferentes (por exemplo build_world(seed=2) além do de sempre) antes de enviar.
Resumo
- A avaliação com mundo oculto roda o seu trabalho num mundo de uma semente que você não viu, então respostas copiadas falham e habilidade real passa.
- Alguns projetos são avaliados por um relatório JSON num mundo oculto, a maioria por testes ocultos; o texto do projeto final é para pessoas, não para um avaliador.
- As descobertas são julgadas por acertos, erros e alarmes falsos; os dois tipos de engano contam.
- A avaliação é determinística e conta operações, não o tempo do relógio. Confira os campos do seu relatório antes de enviar.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.