Temario Lección 28 de 246 · Módulo 2: Matemáticas y probabilidad, solo lo necesario
Módulo 2: Matemáticas y probabilidad, solo lo necesario

Por qué ir hacia atrás sale barato (modo inverso)

Por qué importa Una red tiene millones de pesos. Si cada gradiente necesitara su propia pasada, entrenar sería imposible. Ir hacia atrás los consigue todos por más o menos el precio de una pasada más.

Números diminutos

Toma L = f3(f2(f1(x))) donde x tiene 3 números y L es un número. Yendo hacia delante con empujones, empujas una entrada, la llevas por los tres pasos y aprendes un gradiente. Tres entradas significan tres viajes completos.

Yendo hacia atrás, empiezas en L, que es un número, y empujas "¿cuánto le importa esto a L?" hacia atrás por f3, luego f2, luego f1. Un viaje da el gradiente de todas las entradas a la vez.

Con 3 entradas haces 1 viaje en vez de 3. Con un millón de pesos, 1 viaje en vez de un millón. Pero un viaje hacia atrás no es gratis: cuesta unas 2 o 3 pasadas hacia delante, porque cada paso debe multiplicar por sus pendientes locales. Así que en el trabajo real el ahorro es de unas n / 3 veces, que para un millón de pesos sigue siendo unas 300,000 veces. Por eso todas las bibliotecas de aprendizaje profundo trabajan hacia atrás.

Modo inverso: calcular gradientes barriendo desde la salida de vuelta hasta las entradas. Su pieza básica se llama producto vector-jacobiano; la próxima lección lo desmonta.

Resumen Una salida, muchas entradas: ve hacia atrás.

Palabras y símbolos de esta lección
vector
una lista de números, uno por característica
Tu turno

Rellena las cuentas de operaciones de una red con n pesos y una pérdida. forward_trips(n): cuántas pasadas completas necesita el método de empujar cada entrada (una pasada empujada por peso; deja fuera la única pasada sin empujar que también harías). backward_trips(n): cuántos barridos hacia atrás necesita el modo inverso. Luego pon en saving_for_a_million la razón entre viajes (no entre trabajo) para n = 1,000,000.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.