Conteúdo do curso Lição 91 de 246 · Módulo 7: Trabalhando com novos dados
Módulo 7: Trabalhando com novos dados

Dupla descida

Por que isso importa A regra do livro "mais parâmetros significa mais overfitting" não funciona para modelos grandes. Entender o porquê muda como você pensa sobre o tamanho do modelo.

Veja isso

Reproduza a animação. Nós ajustamos 40 pontos de treinamento usando apenas o primeiro p de 400 recursos disponíveis, escolhendo entre os ajustes exatos aquele com os menores pesos. Conforme p cresce em direção ao número de pontos de treinamento (40), o erro de teste sobe, lentamente e depois abruptamente, até um pico exatamente onde os dois são iguais. Lá o modelo tem liberdade suficiente para atingir cada ponto de treinamento, e apenas uma maneira de fazer isso, geralmente uma selvagem. Após o pico, existem muitos ajustes exatos e escolher o de pesos menores é um ajuste suave: o erro de teste cai novamente, e com recursos suficientes ele termina menor que os modelos pequenos.

Limiar de interpolação: o tamanho do modelo no qual ele consegue ajustar os dados de treinamento exatamente. O duplo descenso atinge o pico ali.

Chame a Curva: preveja o número de features com o maior erro de teste, e se p = 400 vence p = 5.

Leia os números honestamente

Este brinquedo foi construído para mostrar o formato da curva, não para prever bem. Seu sinal está espalhado finamente por todas as 400 features e existem apenas 40 pontos de treinamento, então cada modelo aqui é ruim: prever 0 para tudo marca um erro de teste mediano de cerca de 1.01, p = 5 marca cerca de 1.11 e p = 400 cerca de 0.91. O pico em p = 40 é cerca de 36. A segunda descida é real, mas ela termina apenas um pouco abaixo de "não prever nada".

O pico também tem uma cura que você já conhece. Weight decay (ridge) com uma força escolhida em dados de validação, em vez do ajuste exato de pesos mínimos, mantém o erro perto de 1.0 em cada tamanho, p = 40 incluído (cerca de 1.02). Double descent é o que acontece com ajustes exatos; um regulariser ajustado remove o pico.

Palavras e símbolos nesta lição
overfitting, underfitting
ajustando o ruído nos dados de treinamento; ou simples demais para ajustar o padrão
ridge (alpha)
mínimos quadrados com weight decay de força alpha
limiar de interpolação
o tamanho do modelo que pode se ajustar exatamente aos dados de treinamento
Sua vez

Preencha my_peak e my_400_beats_5. Depois escreva test_error(p): para seeds de 0 a 19, faça o fit com np.linalg.pinv(X[:, :p]) @ y, meça o test mean squared error e retorne a mediana sobre as seeds.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.