Conteúdo do curso Lição 87 de 246 · Módulo 7: Trabalhando com novos dados
Módulo 7: Trabalhando com novos dados

Viés e variância, e weight decay como um prior

Por que isso importa Overfitting aparece como um abismo: erro de treinamento muito abaixo do erro em novos dados. Duas causas mensuráveis estão por trás de cada abismo assim, e elas precisam de curas diferentes.

Desenhe cinco novos conjuntos de treinamento da mesma fonte e ajuste o mesmo tipo de modelo para cada um. Olhe para as cinco previsões em um ponto:

  • Se todos concordarem mas estiverem todos errados do mesmo jeito: alto viés (simples demais).
  • Se eles discordarem muito entre si: alta variância (flexível demais, perseguindo o ruído de cada conjunto).

Variance é o quanto o modelo muda quando os dados de treinamento mudam. Alta variância é a causa comum de overfitting, mas as duas palavras não são a mesma coisa: overfitting é a lacuna que você vê, variância é uma coisa que você pode medir por trás dela.

Weight decay como um prior

Weight decay adiciona alpha * (sum of weights squared) à perda. Em termos de probabilidade, ele diz, antes de ver os dados, "Eu acredito que pesos pequenos são mais prováveis". Essa crença puxa ajustes selvagens para ajustes calmos e reduz a variância, ao custo de um pouco de viés. Para ajuste polinomial, ele tem uma solução exata chamada ridge regression: w = solve(A.T A + alpha I, A.T y), onde A contém as potências de x.

Prior: o que você acredita sobre os pesos antes de ver os dados. Weight decay é um prior que favorece pesos pequenos.

Palavras e símbolos nesta lição
overfitting, underfitting
ajustando o ruído nos dados de treinamento; ou simples demais para ajustar o padrão
viés, variância
estar errado do mesmo jeito toda vez; ou mudar muito com os dados de treinamento
prior
o que você acredita sobre os pesos antes de ver os dados
ridge (alpha)
mínimos quadrados com weight decay de força alpha
Sua vez

Escreva ridge_poly(x, y, deg, alpha) retornando os coeficientes (menor potência primeiro, usando a fórmula acima), e spread_at_half(deg, alpha): ajuste cinco conjuntos de treinamento (sementes 0 a 4, 20 pontos cada, feitos por make_set) e retorne o desvio padrão das cinco previsões em x = 0.5. Depois defina high_variance para qual dos graus 1, 3 ou 12 (alpha 0) tem a maior dispersão.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.