Conteúdo do curso Lição 241 de 246 · Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar
Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar

Avaliação de retenção, com barras de erro

Por que isso importa Toda escolha que você fez olhou a pontuação de validação, então agora ela está um pouco otimista. Uma única avaliação em dados que você nunca olhou, com barras de erro, é o número que você pode relatar.

Escolha suas configurações FINAL com base no que suas ablations mostraram, no máximo 4 custos da baseline. Treine com a seed 0. Depois pontue uma vez no conjunto de teste oculto: track.score(model, hidden=True, per_item=True) dá um número por item de teste, e studio.interval(items) dá a média e um intervalo bootstrap de 95%.

O conjunto oculto vem dentro desta página, então ele está oculto, não lacrado: você poderia olhar para ele. O certificado do curso não depende desse segredo; o seu card depende, então olhe uma vez só, no fim.

Notas para passar (o plano padrão passa nas duas): linguagem, média de pelo menos -2.72; imagens, pelo menos 0.42.

Palavras e símbolos nesta lição
baseline
a execução simples contra a qual cada mudança é medida, com as mesmas seeds
ablation
uma única mudança na baseline, rodada com várias seeds, para ver o que ela faz
conjunto de teste oculto
dados pontuados uma vez, no fim, depois de todas as escolhas feitas
Sua vez

Defina FINAL, treine final e preencha validation (seu score de validação), hidden (média, baixo, alto) e gap (validação menos média oculta).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.