Um leitor de dígitos em NumPy puro
Por que isso importa Esta é uma rede neural real lendo caligrafia real, com cada linha escrita por você. É a clássica primeira rede, construída sem uma biblioteca.
Os dados são 1.797 dígitos escritos à mão, cada um uma imagem de 8 por 8 achatada em 64 números (um primo pequeno e de baixa resolução do famoso conjunto MNIST de 28 por 28, de uma coleção diferente). A rede é a da última lição: 64 inputs, uma camada oculta de 64 neurônios ReLU e 10 outputs.
O laço de treinamento
- Comece os pesos pequenos e aleatórios:
rng.normal(0, 0.1, shape), biases em zero. - A cada epoch, embaralhe os dados de treinamento e percorra em minibatches de 32.
- Para cada minibatch, execute
forward_backwarde atualize cada peso contra seu gradiente.
Minibatch: um pequeno pedaço aleatório dos dados usado para um passo. É muito mais rápido do que usar todos os dados em cada passo, e o ruído até ajuda.
Chame a Curva: adivinhe a perda de treinamento após a epoch 1 e após a epoch 20 em my_guess.
Resumo Shuffle, slice, forward, backward, step. Repita.
Palavras e símbolos nesta lição
- neuron
- w . x + b, então uma ativação
- pesos (w, W), viés (b)
- os números que um neurônio aprende; o bias desloca sua saída
- ReLU
- max(0, z): mantém positivos, zera negativos
- taxa de aprendizado (lr)
- quão grande cada training step é
- camada oculta
- a camada entre a entrada e a saída que cria novas características
Usando seu forward_backward, escreva train(X, y, hidden, lr, epochs, seed) retornando um dicionário de pesos, e predict(params, X) retornando o dígito previsto para cada linha. Preencha my_guess. O teste oculto mede a acurácia em 397 dígitos que você nunca treinou: alcance pelo menos 95%. (lr 0.5, 20 epochs, 64 hidden funciona.)
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.