Conteúdo do curso Lição 235 de 246 · Módulo 22: Julgando afirmações
Módulo 22: Julgando afirmações

Portão: revisar uma afirmação (IA desligada)

Por que isso importa Ler resultados criticamente é uma habilidade que você usará em cada artigo, card de modelo e tabela de benchmark. As regras são simples; aplicá-las todas as vezes, sem que te digam qual importa, é a habilidade.

Regras

Gate: IA desligada. Escreva review(claim). Uma afirmação diz "modelo A vence modelo B" e vem com a perda de cada semente de cada modelo e a parte do conjunto de teste encontrada nos dados de treinamento. Em ordem:

  1. Se mais de 10% do conjunto de teste estiver nos dados de treinamento, retorne "leaked": nenhum score sobre ele pode ser confiado.
  2. Se qualquer um dos modelos tiver menos de 2 seeds, retorne "not shown": o spread é desconhecido.
  3. Deixe diff = mean(B) - mean(A) (positivo quando A é melhor) e se = sqrt(var(A) / nA + var(B) / nB), variâncias amostrais (ddof=1). Retorne "shown" se diff > 2 se, "contradicted" se diff < -2 se, caso contrário "not shown".

O teste executa sua function em seis novas claims, diferentes em cada teste, incluindo os casos de borda: uma seed, exatamente 10% de overlap, seeds que concordam exatamente.

Palavras e símbolos nesta lição
contaminação (vazamento)
itens que também estavam nos dados de treinamento
seed
o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
Sua vez

Preencha review. Tente em {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (as larguras registradas 1024 e 512 em 1.5 milhão de tokens).

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.