Portão: revisar uma afirmação (IA desligada)
Por que isso importa Ler resultados criticamente é uma habilidade que você usará em cada artigo, card de modelo e tabela de benchmark. As regras são simples; aplicá-las todas as vezes, sem que te digam qual importa, é a habilidade.
Gate: IA desligada. Escreva review(claim). Uma afirmação diz "modelo A vence modelo B" e vem com a perda de cada semente de cada modelo e a parte do conjunto de teste encontrada nos dados de treinamento. Em ordem:
- Se mais de 10% do conjunto de teste estiver nos dados de treinamento, retorne "leaked": nenhum score sobre ele pode ser confiado.
- Se qualquer um dos modelos tiver menos de 2 seeds, retorne "not shown": o spread é desconhecido.
- Deixe diff = mean(B) - mean(A) (positivo quando A é melhor) e se = sqrt(var(A) / nA + var(B) / nB), variâncias amostrais (
ddof=1). Retorne "shown" se diff > 2 se, "contradicted" se diff < -2 se, caso contrário "not shown".
O teste executa sua function em seis novas claims, diferentes em cada teste, incluindo os casos de borda: uma seed, exatamente 10% de overlap, seeds que concordam exatamente.
Palavras e símbolos nesta lição
- contaminação (vazamento)
- itens que também estavam nos dados de treinamento
- seed
- o número que fixa as escolhas aleatórias de uma execução; outra seed dá outro resultado
Preencha review. Tente em {'a': [1.689, 1.675, 1.689], 'b': [1.715, 1.721, 1.707], 'test_overlap': 0.0} (as larguras registradas 1024 e 512 em 1.5 milhão de tokens).
IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.