Conteúdo do curso Lição 242 de 246 · Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar
Módulo 23: Estúdio de conclusão: um card de modelo que você pode rodar

Escreva o model card

Por que isso importa Um model card (Mitchell et al. 2019) é como um modelo é entregue a outra pessoa: o que ele é, como foi treinado, quão bem se sai e onde não foi testado. A maioria dos cards é escrita de memória. O seu é conferido com o seu log de execuções.

Esta lição roda de novo suas execuções baseline e final (seed 0) em um log novo, pontua o modelo final no conjunto oculto e entrega os números. Escreva o card como um dicionário com estes campos:

  • track, final settings (o dict FINAL), weights (o tamanho do modelo final), training FLOPs (o custo dele)
  • baseline validation score, validation score, hidden score, hidden interval [mínimo, máximo]
  • finding (uma frase com seus dois números da sonda), ablations (uma frase por mudança com o veredito dela), limitations (em que ele não foi testado: pelo menos uma frase completa)

A verificação compara cada número com o log e com a pontuação oculta, até 4 casas decimais. Depois responda à lista de autoverificação com honestidade: True ou False para cada linha.

Palavras e símbolos nesta lição
baseline
a execução simples contra a qual cada mudança é medida, com as mesmas seeds
ablation
uma única mudança na baseline, rodada com várias seeds, para ver o que ela faz
model card
um registro curto do que um modelo é, como foi treinado, quão bem se sai e onde não foi testado
Sua vez

Preencha card e checklist.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.