Menos bits: float32, float16 y escalado de la pérdida
Por qué importa Los números guardados con menos bits se mueven más deprisa y ocupan la mitad de memoria, así que los modelos grandes se entrenan y se distribuyen con números de 16 bits. Pero 16 bits se rompen de dos maneras que tienes que conocer.
- Desbordamiento: float16 no puede guardar nada por encima de 65,504. Un valor mayor se convierte en infinito, y luego el nan se extiende por el entrenamiento.
- Subdesbordamiento: float16 tampoco puede guardar valores diminutos; todo lo que sea menor que unos 3e-8 se redondea a exactamente 0. Los gradientes pequeños desaparecen.
Escalado de la pérdida
Multiplica la pérdida por un número grande S (digamos 1,024) antes de la pasada hacia atrás, para que cada gradiente sea S veces más grande y se quede por encima de la línea de subdesbordamiento. Convierte a float16, y luego vuelve a dividir entre S en float32 antes de la actualización. Los gradientes sobreviven.
Los puntos de control grabados del propio curso se guardan en float16 justo por esta razón: la mitad de tamaño.
La mayoría de los modelos grandes de hoy se entrenan con un tercer formato, bfloat16: 16 bits como float16, pero conserva el rango de float32 (hasta unos 3e38) y renuncia a precisión a cambio (unas 3 cifras significativas). El desbordamiento y el subdesbordamiento casi dejan de ser problemas, así que con él rara vez hace falta escalar la pérdida; el precio es el redondeo, y por eso los pesos y la actualización se siguen guardando en float32.
Palabras y símbolos de esta lección
- float16
- números de 16 bits: la mitad de memoria, desbordamiento por encima de 65,504, los valores diminutos se vuelven 0
- RECORDED
- una ejecución real que el curso entrenó una vez y te da para que la estudies
Escribe to_f16(g) (convierte a float16 y de vuelta a float32) y scaled_to_f16(g, S) (multiplica por S, convierte, convierte de vuelta, divide entre S). Pon en lost_plain y lost_scaled la proporción de los gradientes pequeños dados que se quedan en exactamente cero de cada manera.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.