Viés e variância, e weight decay como um prior
Por que isso importa Overfitting aparece como um abismo: erro de treinamento muito abaixo do erro em novos dados. Duas causas mensuráveis estão por trás de cada abismo assim, e elas precisam de curas diferentes.
Desenhe cinco novos conjuntos de treinamento da mesma fonte e ajuste o mesmo tipo de modelo para cada um. Olhe para as cinco previsões em um ponto:
- Se todos concordarem mas estiverem todos errados do mesmo jeito: alto viés (simples demais).
- Se eles discordarem muito entre si: alta variância (flexível demais, perseguindo o ruído de cada conjunto).
Variance é o quanto o modelo muda quando os dados de treinamento mudam. Alta variância é a causa comum de overfitting, mas as duas palavras não são a mesma coisa: overfitting é a lacuna que você vê, variância é uma coisa que você pode medir por trás dela.
Weight decay como um prior
Weight decay adiciona alpha * (sum of weights squared) à perda. Em termos de probabilidade, ele diz, antes de ver os dados, "Eu acredito que pesos pequenos são mais prováveis". Essa crença puxa ajustes selvagens para ajustes calmos e reduz a variância, ao custo de um pouco de viés. Para ajuste polinomial, ele tem uma solução exata chamada ridge regression: w = solve(A.T A + alpha I, A.T y), onde A contém as potências de x.
Prior: o que você acredita sobre os pesos antes de ver os dados. Weight decay é um prior que favorece pesos pequenos.
Palavras e símbolos nesta lição
- overfitting, underfitting
- ajustando o ruído nos dados de treinamento; ou simples demais para ajustar o padrão
- viés, variância
- estar errado do mesmo jeito toda vez; ou mudar muito com os dados de treinamento
- prior
- o que você acredita sobre os pesos antes de ver os dados
- ridge (alpha)
- mínimos quadrados com weight decay de força alpha
Escreva ridge_poly(x, y, deg, alpha) retornando os coeficientes (menor potência primeiro, usando a fórmula acima), e spread_at_half(deg, alpha): ajuste cinco conjuntos de treinamento (sementes 0 a 4, 20 pontos cada, feitos por make_set) e retorne o desvio padrão das cinco previsões em x = 0.5. Depois defina high_variance para qual dos graus 1, 3 ou 12 (alpha 0) tem a maior dispersão.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.