Una CNN pequeña con dígitos
Por qué importa Esta es la idea de LeNet de 1998: convolución, pooling, convolución, pooling, y luego un clasificador. Constrúyela con las capas de la casa que te has ganado y mírala ganarle al MLP con dígitos desplazados.
La biblioteca de la casa nnsim.engine tiene las capas que construiste: conv (3 por 3, relleno "same"), relu, pool2 (media de 2 por 2), gap (pooling de media global), matmul, cross_entropy y Adam. Un peso de conv para filtros de 3 por 3 de C_in a C_out canales tiene forma (9 * C_in, C_out).
La biblioteca de la casa, en una tarjeta (tenla a mano para el resto del curso; print(E.GUIDE) la vuelve a mostrar en cualquier lección)
E.T(array)envuelve números como un tensor..dataes el array (float32);.gradesNonehasta quebackward()llega a él.loss.backward()rellena.graden cada tensor del que depende la pérdida.opt = E.Adam(params, lr)recibe una lista de tensores.opt.step()actualiza cada uno que tenga gradiente y luego vuelve a poner su.gradaNone, así que nunca pones a cero los gradientes tú mismo.- Las imágenes llevan los canales al final: (lote, filas, columnas, canales).
E.conv(x, w)mantiene el tamaño (relleno "same") y convierte C canales en F conwde forma (9 * C, F).E.pool2reduce a la mitad las filas y las columnas;E.gaphace la media hasta quitarlas, lo que da (lote, canales). E.cross_entropy(logits, y): los logits (lote, clases) como tensor, y un array normal de enteros. Devuelve un tensor que guarda un número;float(loss.data)lo lee.- Un paso de entrenamiento entero son tres líneas:
loss = E.cross_entropy(forward(Xb), yb),loss.backward(),opt.step(). - Ejecuciones grabadas:
print(R.experiment(name))da la lista de sus ajustes y los nombres de sus métricas;run = exp.run(setting=value, ...), y luegorun.loss(parejas de paso y pérdida),run.metrics(un diccionario) yrun.final_loss.
Predice la curva con el gráfico: adivina la pérdida de entrenamiento tras la época 1 y tras la época 8 (la última).
Palabras y símbolos de esta lección
- convolución
- deslizar una pequeña cuadrícula de pesos (un filtro) por una imagen, un producto escalar por posición
- filtro, mapa de características
- la pequeña cuadrícula de pesos aprendida; y la imagen de sus respuestas
- relleno (p), paso (s)
- los ceros añadidos alrededor del borde; cuántos píxeles se mueve el filtro en cada paso
- pooling
- encoger un mapa quedándote con el máximo o la media de cada bloque
- RECORDED
- una ejecución real que el curso entrenó una vez y te da para que la estudies
Rellena my_guess, y luego escribe train(epochs, seed) que devuelva una función predict(X). Usa conv(1 a 16) + relu, conv(16 a 32) + relu, pooling de media global, y luego una capa lineal a 10 clases. Llega al menos al 90% con los dígitos de prueba, y al menos al 60% con dígitos de prueba desplazados 2 píxeles (donde el MLP puntuó un 21%). La puntuación con desplazamiento varía mucho de una semilla a otra (la respuesta del propio curso saca de 0.76 a 0.89 en cinco semillas), así que el listón está bastante por debajo de eso. Aquí funciona Adam con una tasa de aprendizaje de unos 1e-2; con 3e-3 esta red pequeña aprende demasiado despacio para la lección.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.