Conteúdo do curso Lição 49 de 246 · Módulo 3: Neurônio para MLP
Módulo 3: Neurônio para MLP

Um leitor de dígitos em NumPy puro

Por que isso importa Esta é uma rede neural real lendo caligrafia real, com cada linha escrita por você. É a clássica primeira rede, construída sem uma biblioteca.

Os dados são 1.797 dígitos escritos à mão, cada um uma imagem de 8 por 8 achatada em 64 números (um primo pequeno e de baixa resolução do famoso conjunto MNIST de 28 por 28, de uma coleção diferente). A rede é a da última lição: 64 inputs, uma camada oculta de 64 neurônios ReLU e 10 outputs.

O laço de treinamento

  1. Comece os pesos pequenos e aleatórios: rng.normal(0, 0.1, shape), biases em zero.
  2. A cada epoch, embaralhe os dados de treinamento e percorra em minibatches de 32.
  3. Para cada minibatch, execute forward_backward e atualize cada peso contra seu gradiente.

Minibatch: um pequeno pedaço aleatório dos dados usado para um passo. É muito mais rápido do que usar todos os dados em cada passo, e o ruído até ajuda.

Chame a Curva: adivinhe a perda de treinamento após a epoch 1 e após a epoch 20 em my_guess.

Resumo Shuffle, slice, forward, backward, step. Repita.

Palavras e símbolos nesta lição
neuron
w . x + b, então uma ativação
pesos (w, W), viés (b)
os números que um neurônio aprende; o bias desloca sua saída
ReLU
max(0, z): mantém positivos, zera negativos
taxa de aprendizado (lr)
quão grande cada training step é
camada oculta
a camada entre a entrada e a saída que cria novas características
Sua vez

Usando seu forward_backward, escreva train(X, y, hidden, lr, epochs, seed) retornando um dicionário de pesos, e predict(params, X) retornando o dígito previsto para cada linha. Preencha my_guess. O teste oculto mede a acurácia em 397 dígitos que você nunca treinou: alcance pelo menos 95%. (lr 0.5, 20 epochs, 64 hidden funciona.)

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.