Conteúdo do curso Lição 103 de 246 · Módulo 9: É realmente melhor?
Módulo 9: É realmente melhor?

Divisões e vazamento

Por que isso importa Se qualquer informação dos dados de teste chegar ao treinamento, a pontuação do teste não é mais um teste. Esta é a forma mais comum de pessoas honestas publicarem números errados.

A regra: o conjunto de teste não deve participar de nenhuma decisão, incluindo o pré-processamento. Três formas de ele entrar de fininho:

  • Escalando com todos os dados. Calculando a média e o desvio em cada linha, incluindo as linhas de teste, deixa que os valores de teste moldem as entradas de treinamento. Pequeno, mas real.
  • Escolhendo características com todos os rótulos. Escolher as características mais correlacionadas com o rótulo, usando também os rótulos de teste, pode fazer ruído puro parecer preditivo. Isso pode ser enorme.
  • Duplicatas entre a divisão.O mesmo exemplo em ambos os conjuntos: o modelo é testado em algo que ele memorizou.

Leakage: informações de teste chegando ao processo de treinamento, fazendo com que as pontuações pareçam melhores do que realmente são.

Sua vez

Defina leaky como um dictionary dizendo qual das três pipelines vazam. Depois escreva pipeline_3_fixed(X, y): a mesma ideia, escolhendo as 5 features usando apenas as primeiras 200 linhas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.