Conteúdo do curso Lição 87 de 250 · Seus Primeiros Modelos de Machine Learning
Seus Primeiros Modelos de Machine Learning

Divisão Treino/Teste: Medição Honesta

Aqui está o hábito mais importante em machine learning. Se você treina um modelo e depois o testa nos mesmos dados, você não aprende nada útil. Um modelo pode pontuar perfeitamente apenas memorizando as respostas que ele já viu. Isso é como dar nota a um aluno nas mesmas perguntas que ele estudou: isso mede a memória, não o entendimento.

A solução é segurar alguns dados. Você train na maior parte deles, depois test em linhas que o modelo nunca viu. O desempenho do teste é sua estimativa honesta de como ele vai se sair em dados reais e futuros.

scikit-learn te dá uma function para isso:

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, random_state=0
)

Ele retorna quatro partes, sempre nessa ordem: train features, test features, train labels, test labels. Dois argumentos importam:

  • test_size=0.2 reserva 20 por cento para testes e mantém 80 por cento para treinamento.
  • random_state=0 fixa o shuffle para você ter o same split em cada execução. Sem isso o split é aleatório toda vez, e seus resultados variariam e não poderiam ser verificados. Em todo este curso, sempre passe random_state=0.

A partir de agora uma regra estrita: você pode treinar no conjunto de treinamento, mas você só deve grade no conjunto de teste. Nunca reporte uma pontuação de dados nos quais o modelo treinou.

Sua vez

Arrays X (10 linhas, 2 colunas) e y (10 rótulos) são fornecidos. Use train_test_split com test_size=0.2 e random_state=0 para obter X_train, X_test, y_train, y_test. Depois defina n_train para o número de linhas de treinamento e n_test para o número de linhas de teste.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.