Conteúdo do curso Lição 119 de 246 · Módulo 10: Redes que veem (CNNs)
Módulo 10: Redes que veem (CNNs)

Uma pequena CNN em dígitos

Por que isso importa Essa é a ideia da LeNet de 1998: convolution, pooling, convolution, pooling, depois um classifier. Construa com as camadas da casa que você ganhou e veja ela vencer a MLP em dígitos deslocados.

A biblioteca da casa nnsim.engine tem as camadas que você construiu: conv (3 por 3, mesmo padding), relu, pool2 (média 2 por 2), gap (global average pooling), matmul, cross_entropy e Adam. Um peso de conv para filtros 3 por 3 de C_in para C_out canais tem o formato (9 * C_in, C_out).

A biblioteca da casa, em um card (mantenha por perto para o resto do curso; print(E.GUIDE) mostra isso de novo em qualquer lição)

  • E.T(array) envolve números como um tensor. .data é o array (float32); .grad é None até backward() alcançá-lo.
  • loss.backward() preenche .grad em cada tensor de que a loss depende.
  • opt = E.Adam(params, lr) recebe uma lista de tensores. opt.step() atualiza cada um que tem um gradiente e depois define seu .grad de volta para None, então você nunca zera os gradientes por conta própria.
  • Imagens são channels last: (batch, rows, columns, channels). E.conv(x, w) mantém o tamanho (same padding) e transforma C channels em F com w de formato (9 * C, F). E.pool2 corta as rows e columns pela metade; E.gap tira a média delas, resultando em (batch, channels).
  • E.cross_entropy(logits, y): logits (batch, classes) como um tensor, y um array de inteiros simples. Ele retorna um tensor segurando um número; float(loss.data) o lê.
  • um passo de treinamento inteiro são três linhas: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Execuções registradas: print(R.experiment(name)) lista suas configurações e os nomes de suas métricas; run = exp.run(setting=value, ...), depois run.loss (pares de step e loss), run.metrics (um dicionário) e run.final_loss.

Chame a Curve com o gráfico: adivinhe a training loss após a epoch 1 e após a epoch 8 (a última).

Palavras e símbolos nesta lição
convolution
deslizando uma pequena grade de pesos (um filtro) por uma imagem, um produto escalar por posição
filter, mapa de características
a pequena grade aprendida de pesos; e a imagem de suas respostas
padding (p), stride (s)
zeros adicionados ao redor da borda; quantos pixels o filtro move a cada passo
pooling
reduzindo um mapa mantendo o máximo ou a média de cada bloco
RECORDED
Uma execução real do curso foi treinada uma vez e enviada para você estudar
Sua vez

Preencha my_guess, depois escreva train(epochs, seed) retornando uma função predict(X). Use conv(1 to 16) + relu, conv(16 to 32) + relu, global average pooling, e depois uma linear layer para 10 classes. Alcance pelo menos 90% nos dígitos de teste, e pelo menos 60% nos dígitos de teste deslocados por 2 pixels (onde a MLP marcou cerca de 21%). A pontuação deslocada varia muito de seed para seed (a própria resposta do curso obtém de 0.76 a 0.89 em cinco seeds), então a barra fica bem abaixo disso. Adam com uma learning rate de cerca de 1e-2 funciona aqui; com 3e-3 esta pequena rede aprende devagar demais para a lição.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.