Conteúdo do curso Lição 85 de 246 · Módulo 6: Pesos iniciais e normalização
Módulo 6: Pesos iniciais e normalização

Portão: faça um treino de rede profunda não treinável (IA desligada)

Por que isso importa Consertar uma rede profunda que não aprende é um dos trabalhos reais mais comuns nesta área. Aqui você faz isso sozinho.

IA desligada. A rede de 30 camadas abaixo nunca deixa um cara de moeda. Você pode mudar como ela é iniciada e como seus blocos são conectados, usando qualquer coisa deste módulo, mas mantenha 30 camadas ocultas de largura 16 e 300 passos de SGD puro.

Palavras e símbolos nesta lição
Xavier, LeCun, He
inicializando spreads sqrt(2 / (inputs + outputs)) ou 1 / sqrt(inputs) para tanh, e sqrt(2 / inputs) para ReLU
Sua vez

Edite build(rng) e forward(params, X) para que o treinamento atinja pelo menos 90% de training accuracy nas luas.

IA desligada: sem tutor, dicas ou solução resolvida nesta. Apenas seu próprio pensamento.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.