Conteúdo do curso Lição 95 de 250 · Seus Primeiros Modelos de Machine Learning
Seus Primeiros Modelos de Machine Learning

Underfitting e Overfitting

Esta é a tensão central em todo o aprendizado de máquina, e agora você tem as ferramentas para vê-la diretamente. Um modelo pode falhar de duas formas opostas.

  • Underfitting: o modelo é simples demais para capturar o padrão. Ele vai mal tanto nos dados de treinamento quanto nos dados de teste. Pense em desenhar uma linha reta através de dados que claramente se curvam.
  • Overfitting: o modelo é complexo demais e memoriza os dados de treinamento, incluindo seu ruído e peculiaridades. Ele tem um ótimo desempenho no treinamento, mas um desempenho ruim no teste, porque ele aprendeu os exemplos específicos em vez da regra geral.
A complexidade de uma

A decision tree é controlada por max_depth, o número de camadas de perguntas que ela tem permissão:

shallow = DecisionTreeClassifier(max_depth=1, random_state=0)   # too simple
deep    = DecisionTreeClassifier(max_depth=None, random_state=0) # unlimited
Uma árvore de profundidade-1

A pode fazer apenas uma pergunta, então ela é forçada a ser bruta e tende a ter subajuste. Uma árvore de profundidade ilimitada continua dividindo até isolar as linhas de treinamento, então ela pode levar a acurácia training a um perfeito 1.0 enquanto performa pior em linhas test não vistas.

O sinal claro de overfitting é um gap: acurácia de treinamento muito maior que a acurácia de teste. Toda a arte de ajustar um modelo é encontrar a complexidade média que vai bem nos dados de teste, que é a única pontuação que conta.

Você vai treinar uma árvore rasa e uma profunda, registrar a accuracy de treino e teste para cada uma, e calcular o overfitting gap para que a relação esteja ali nos números.

Sua vez

Um conjunto de dados ruidoso e uma divisão treino/teste já estão preparados. Treine shallow = DecisionTreeClassifier(max_depth=1, random_state=0) e deep = DecisionTreeClassifier(max_depth=None, random_state=0) nos dados de treinamento. Registre quatro números: shallow_train, shallow_test, deep_train, deep_test (acurácia no conjunto correspondente para cada árvore). Depois defina overfit_gap = deep_train - deep_test.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.