Conteúdo do curso Lição 82 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

A armadilha de treino/eval

Por que isso importa Um modelo que pontua bem em testes e mal no uso, sem motivo visível, é muito frequentemente este bug. Ele enganou engenheiros experientes.

Um pequeno classificador tem uma camada BatchNorm. Ele foi treinado corretamente e suas médias móveis estão boas. No conjunto de teste, avaliado em lotes grandes, ele vai bem. Usado em um exemplo por vez, ele erra com muita frequência.

Trabalho de detetive primeiro: imprima o que a camada BatchNorm retorna para dois exemplos diferentes e pergunte a si mesmo com quais estatísticas ela está normalizando. Descubra a partir do que você imprimiu; as três dicas te guiam se você travar.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
BatchNorm (gamma, beta)
normalize cada feature sobre o batch, depois redimensione com gamma e beta aprendidos
Sua vez

predict_one(x) é usado em um exemplo por vez, e sua acurácia é ruim. Descubra por que, depois corrija predict_one para que a acurácia de teste seja de pelo menos 90%. Defina cause para uma frase curta nomeando a causa.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.