Uma pequena CNN em dígitos
Por que isso importa Essa é a ideia da LeNet de 1998: convolution, pooling, convolution, pooling, depois um classifier. Construa com as camadas da casa que você ganhou e veja ela vencer a MLP em dígitos deslocados.
A biblioteca da casa nnsim.engine tem as camadas que você construiu: conv (3 por 3, mesmo padding), relu, pool2 (média 2 por 2), gap (global average pooling), matmul, cross_entropy e Adam. Um peso de conv para filtros 3 por 3 de C_in para C_out canais tem o formato (9 * C_in, C_out).
A biblioteca da casa, em um card (mantenha por perto para o resto do curso; print(E.GUIDE) mostra isso de novo em qualquer lição)
E.T(array)envolve números como um tensor..dataé o array (float32);.gradéNoneatébackward()alcançá-lo.loss.backward()preenche.gradem cada tensor de que a loss depende.opt = E.Adam(params, lr)recebe uma lista de tensores.opt.step()atualiza cada um que tem um gradiente e depois define seu.gradde volta paraNone, então você nunca zera os gradientes por conta própria.- Imagens são channels last: (batch, rows, columns, channels).
E.conv(x, w)mantém o tamanho (same padding) e transforma C channels em F comwde formato (9 * C, F).E.pool2corta as rows e columns pela metade;E.gaptira a média delas, resultando em (batch, channels). E.cross_entropy(logits, y): logits (batch, classes) como um tensor, y um array de inteiros simples. Ele retorna um tensor segurando um número;float(loss.data)o lê.- um passo de treinamento inteiro são três linhas:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Execuções registradas:
print(R.experiment(name))lista suas configurações e os nomes de suas métricas;run = exp.run(setting=value, ...), depoisrun.loss(pares de step e loss),run.metrics(um dicionário) erun.final_loss.
Chame a Curve com o gráfico: adivinhe a training loss após a epoch 1 e após a epoch 8 (a última).
Palavras e símbolos nesta lição
- convolution
- deslizando uma pequena grade de pesos (um filtro) por uma imagem, um produto escalar por posição
- filter, mapa de características
- a pequena grade aprendida de pesos; e a imagem de suas respostas
- padding (p), stride (s)
- zeros adicionados ao redor da borda; quantos pixels o filtro move a cada passo
- pooling
- reduzindo um mapa mantendo o máximo ou a média de cada bloco
- RECORDED
- Uma execução real do curso foi treinada uma vez e enviada para você estudar
Preencha my_guess, depois escreva train(epochs, seed) retornando uma função predict(X). Use conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, e depois uma linear layer para 10 classes. Alcance pelo menos 90% nos dígitos de teste, e pelo menos 60% nos dígitos de teste deslocados por 2 pixels (onde a MLP marcou cerca de 21%). A pontuação deslocada varia muito de seed para seed (a própria resposta do curso obtém de 0.76 a 0.89 em cinco seeds), então a barra fica bem abaixo disso. Adam com uma learning rate de cerca de 1e-2 funciona aqui; com 3e-3 esta pequena rede aprende devagar demais para a lição.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.