Temario Lección 119 de 246 · Módulo 10: Redes que ven (CNN)
Módulo 10: Redes que ven (CNN)

Una CNN pequeña con dígitos

Por qué importa Esta es la idea de LeNet de 1998: convolución, pooling, convolución, pooling, y luego un clasificador. Constrúyela con las capas de la casa que te has ganado y mírala ganarle al MLP con dígitos desplazados.

La biblioteca de la casa nnsim.engine tiene las capas que construiste: conv (3 por 3, relleno "same"), relu, pool2 (media de 2 por 2), gap (pooling de media global), matmul, cross_entropy y Adam. Un peso de conv para filtros de 3 por 3 de C_in a C_out canales tiene forma (9 * C_in, C_out).

La biblioteca de la casa, en una tarjeta (tenla a mano para el resto del curso; print(E.GUIDE) la vuelve a mostrar en cualquier lección)

  • E.T(array) envuelve números como un tensor. .data es el array (float32); .grad es None hasta que backward() llega a él.
  • loss.backward() rellena .grad en cada tensor del que depende la pérdida.
  • opt = E.Adam(params, lr) recibe una lista de tensores. opt.step() actualiza cada uno que tenga gradiente y luego vuelve a poner su .grad a None, así que nunca pones a cero los gradientes tú mismo.
  • Las imágenes llevan los canales al final: (lote, filas, columnas, canales). E.conv(x, w) mantiene el tamaño (relleno "same") y convierte C canales en F con w de forma (9 * C, F). E.pool2 reduce a la mitad las filas y las columnas; E.gap hace la media hasta quitarlas, lo que da (lote, canales).
  • E.cross_entropy(logits, y): los logits (lote, clases) como tensor, y un array normal de enteros. Devuelve un tensor que guarda un número; float(loss.data) lo lee.
  • Un paso de entrenamiento entero son tres líneas: loss = E.cross_entropy(forward(Xb), yb), loss.backward(), opt.step().
  • Ejecuciones grabadas: print(R.experiment(name)) da la lista de sus ajustes y los nombres de sus métricas; run = exp.run(setting=value, ...), y luego run.loss (parejas de paso y pérdida), run.metrics (un diccionario) y run.final_loss.

Predice la curva con el gráfico: adivina la pérdida de entrenamiento tras la época 1 y tras la época 8 (la última).

Palabras y símbolos de esta lección
convolución
deslizar una pequeña cuadrícula de pesos (un filtro) por una imagen, un producto escalar por posición
filtro, mapa de características
la pequeña cuadrícula de pesos aprendida; y la imagen de sus respuestas
relleno (p), paso (s)
los ceros añadidos alrededor del borde; cuántos píxeles se mueve el filtro en cada paso
pooling
encoger un mapa quedándote con el máximo o la media de cada bloque
RECORDED
una ejecución real que el curso entrenó una vez y te da para que la estudies
Tu turno

Rellena my_guess, y luego escribe train(epochs, seed) que devuelva una función predict(X). Usa conv(1 a 16) + relu, conv(16 a 32) + relu, pooling de media global, y luego una capa lineal a 10 clases. Llega al menos al 90% con los dígitos de prueba, y al menos al 60% con dígitos de prueba desplazados 2 píxeles (donde el MLP puntuó un 21%). La puntuación con desplazamiento varía mucho de una semilla a otra (la respuesta del propio curso saca de 0.76 a 0.89 en cinco semillas), así que el listón está bastante por debajo de eso. Aquí funciona Adam con una tasa de aprendizaje de unos 1e-2; con 3e-3 esta red pequeña aprende demasiado despacio para la lección.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.