Conteúdo do curso Lição 105 de 246 · Módulo 9: É realmente melhor?
Módulo 9: É realmente melhor?

Sementes e propagação

Por que isso importa Treine o mesmo modelo duas vezes com seeds diferentes e você terá scores diferentes. Até você saber o tamanho dessa oscilação, não pode dizer se qualquer mudança ajudou.

Aqui a seed decide três coisas: quais imagens ficam nos conjuntos de treinamento e teste, os pesos iniciais e a ordem dos dados. Nenhuma delas deveria importar, mas todas importam, um pouco. Então sempre treine várias seeds e reporte a média e o desvio padrão, nunca uma única execução.

Uma regra aproximada para comparar dois ajustes, cada um calculado pela média de n seeds: a diferença das duas médias oscila em cerca de spread vezes sqrt(2 / n) (cada média oscila por spread / sqrt(n), e duas oscilações independentes se somam em quadrados). Uma diferença menor que cerca de duas vezes isso não é algo em que você pode confiar. Com 5 seeds e um spread de 0.02, isso é 2 vezes 0.02 vezes sqrt(0.4) = 0.025.

Sua vez

Escreva seed_report(n_seeds) retornando (mean, std) de train_and_score sobre seeds de 0 a n_seeds - 1. Use np.std como está (ele divide por n; dividir por n - 1, ddof=1, também é aceito). Depois defina wobble para o spread sobre 5 seeds.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.