Temario Lección 122 de 246 · Módulo 10: Redes que ven (CNN)
Módulo 10: Redes que ven (CNN)

Reutilizar una red entrenada (aprendizaje por transferencia)

Por qué importa Pocas veces tienes muchos datos etiquetados para tu propia tarea. Una red entrenada con un gran conjunto de datos relacionado ya conoce características útiles; reutilizarla deja que un conjunto de datos diminuto llegue muy lejos.

El plan: entrenar las capas de conv con un conjunto de formas grande y limpio. Luego enfrentarse a una tarea nueva y más difícil con solo 40 imágenes etiquetadas: las mismas formas, pero con mucho más ruido. Mantener congeladas las capas de conv entrenadas y entrenar solo una capa final nueva sobre características promediadas en toda la imagen (las características sin posición generalizan a partir de pocos ejemplos). Compararlo con entrenar toda la red desde cero con las 40 imágenes.

Congeladas: capas cuyos pesos no se actualizan durante el entrenamiento. Ajuste fino: seguir entrenando una red preentrenada con datos nuevos.

Palabras y símbolos de esta lección
aprendizaje por transferencia
reutilizar capas entrenadas en una tarea para otra
RECORDED
una ejecución real que el curso entrenó una vez y te da para que la estudies
Tu turno

El preentrenamiento lo hizo el curso una vez y sus pesos se te cargan (una red grabada). Escribe train_head(w1, w2, X, y, steps) que entrene solo una capa de salida nueva de 16 a 4 sobre capas de conv congeladas (funciona Adam con 1e-2) y devuelva una función de predicción, y train_scratch(X, y, steps) que entrene las tres capas desde pesos aleatorios nuevos. La prueba ejecuta las dos con 1,000 imágenes de prueba con ruido. Tu modelo con transferencia debe ganarle a la red desde cero del propio curso (ajustes fijos: 8 y 16 canales, Adam 3e-3, 300 pasos, un 58%) por al menos 8 puntos; la ejecución con transferencia del curso saca un 72%. Tu propia red desde cero solo tiene que aprender algo (por encima del 35%, donde el azar es el 25%). Si la tuya le gana a la red desde cero del curso, enhorabuena: ajustar bien el entrenamiento desde cero es una habilidad real, y también es la razón de que una comparación justa fije los ajustes de antemano.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.