Temario Lección 118 de 246 · Módulo 10: Redes que ven (CNN)
Módulo 10: Redes que ven (CNN)

Menos bits: float32, float16 y escalado de la pérdida

Por qué importa Los números guardados con menos bits se mueven más deprisa y ocupan la mitad de memoria, así que los modelos grandes se entrenan y se distribuyen con números de 16 bits. Pero 16 bits se rompen de dos maneras que tienes que conocer.

  • Desbordamiento: float16 no puede guardar nada por encima de 65,504. Un valor mayor se convierte en infinito, y luego el nan se extiende por el entrenamiento.
  • Subdesbordamiento: float16 tampoco puede guardar valores diminutos; todo lo que sea menor que unos 3e-8 se redondea a exactamente 0. Los gradientes pequeños desaparecen.

Escalado de la pérdida

Multiplica la pérdida por un número grande S (digamos 1,024) antes de la pasada hacia atrás, para que cada gradiente sea S veces más grande y se quede por encima de la línea de subdesbordamiento. Convierte a float16, y luego vuelve a dividir entre S en float32 antes de la actualización. Los gradientes sobreviven.

Los puntos de control grabados del propio curso se guardan en float16 justo por esta razón: la mitad de tamaño.

La mayoría de los modelos grandes de hoy se entrenan con un tercer formato, bfloat16: 16 bits como float16, pero conserva el rango de float32 (hasta unos 3e38) y renuncia a precisión a cambio (unas 3 cifras significativas). El desbordamiento y el subdesbordamiento casi dejan de ser problemas, así que con él rara vez hace falta escalar la pérdida; el precio es el redondeo, y por eso los pesos y la actualización se siguen guardando en float32.

Palabras y símbolos de esta lección
float16
números de 16 bits: la mitad de memoria, desbordamiento por encima de 65,504, los valores diminutos se vuelven 0
RECORDED
una ejecución real que el curso entrenó una vez y te da para que la estudies
Tu turno

Escribe to_f16(g) (convierte a float16 y de vuelta a float32) y scaled_to_f16(g, S) (multiplica por S, convierte, convierte de vuelta, divide entre S). Pon en lost_plain y lost_scaled la proporción de los gradientes pequeños dados que se quedan en exactamente cero de cada manera.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.