Dupla descida
Por que isso importa A regra do livro "mais parâmetros significa mais overfitting" não funciona para modelos grandes. Entender o porquê muda como você pensa sobre o tamanho do modelo.
Veja isso
Reproduza a animação. Nós ajustamos 40 pontos de treinamento usando apenas o primeiro p de 400 recursos disponíveis, escolhendo entre os ajustes exatos aquele com os menores pesos. Conforme p cresce em direção ao número de pontos de treinamento (40), o erro de teste sobe, lentamente e depois abruptamente, até um pico exatamente onde os dois são iguais. Lá o modelo tem liberdade suficiente para atingir cada ponto de treinamento, e apenas uma maneira de fazer isso, geralmente uma selvagem. Após o pico, existem muitos ajustes exatos e escolher o de pesos menores é um ajuste suave: o erro de teste cai novamente, e com recursos suficientes ele termina menor que os modelos pequenos.
Limiar de interpolação: o tamanho do modelo no qual ele consegue ajustar os dados de treinamento exatamente. O duplo descenso atinge o pico ali.
Chame a Curva: preveja o número de features com o maior erro de teste, e se p = 400 vence p = 5.
Leia os números honestamente
Este brinquedo foi construído para mostrar o formato da curva, não para prever bem. Seu sinal está espalhado finamente por todas as 400 features e existem apenas 40 pontos de treinamento, então cada modelo aqui é ruim: prever 0 para tudo marca um erro de teste mediano de cerca de 1.01, p = 5 marca cerca de 1.11 e p = 400 cerca de 0.91. O pico em p = 40 é cerca de 36. A segunda descida é real, mas ela termina apenas um pouco abaixo de "não prever nada".
O pico também tem uma cura que você já conhece. Weight decay (ridge) com uma força escolhida em dados de validação, em vez do ajuste exato de pesos mínimos, mantém o erro perto de 1.0 em cada tamanho, p = 40 incluído (cerca de 1.02). Double descent é o que acontece com ajustes exatos; um regulariser ajustado remove o pico.
Palavras e símbolos nesta lição
- overfitting, underfitting
- ajustando o ruído nos dados de treinamento; ou simples demais para ajustar o padrão
- ridge (alpha)
- mínimos quadrados com weight decay de força alpha
- limiar de interpolação
- o tamanho do modelo que pode se ajustar exatamente aos dados de treinamento
Preencha my_peak e my_400_beats_5. Depois escreva test_error(p): para seeds de 0 a 19, faça o fit com np.linalg.pinv(X[:, :p]) @ y, meça o test mean squared error e retorne a mediana sobre as seeds.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.