Moins de bits : float32, float16 et mise à l'échelle de la perte
Pourquoi c'est important Les nombres stockés sur moins de bits sont plus rapides à déplacer et prennent moitié moins de mémoire, donc les gros modèles s'entraînent et sont livrés en nombres de 16 bits. Mais 16 bits cassent de deux façons que tu dois connaître.
- Débordement : float16 ne peut rien contenir au-dessus de 65 504. Une valeur plus grande devient l'infini, puis nan se répand dans l'entraînement.
- Sous-dépassement : float16 ne peut pas non plus contenir de valeurs minuscules ; tout ce qui est plus petit qu'environ 3e-8 est arrondi à exactement 0. Les petits gradients disparaissent.
La mise à l'échelle de la perte
Multiplie la perte par un grand nombre S (disons 1 024) avant la passe arrière, pour que chaque gradient soit S fois plus grand et reste au-dessus de la ligne de sous-dépassement. Convertis en float16, puis redivise par S en float32 avant la mise à jour. Les gradients survivent.
Les points de sauvegarde enregistrés du cours sont stockés en float16 exactement pour cette raison : moitié de la taille.
La plupart des grands modèles s'entraînent aujourd'hui dans un troisième format, le bfloat16 : 16 bits comme float16, mais il garde la plage de float32 (jusqu'à environ 3e38) et sacrifie plutôt la précision (environ 3 chiffres significatifs). Le débordement et le sous-dépassement cessent en grande partie d'être des problèmes, donc la mise à l'échelle de la perte est rarement nécessaire avec lui ; le prix, c'est l'arrondi, c'est pourquoi les poids et la mise à jour sont encore gardés en float32.
Mots et symboles de cette leçon
- float16
- nombres sur 16 bits : moitié de la mémoire, débordement au-dessus de 65 504, les valeurs minuscules deviennent 0
- RECORDED
- un vrai entraînement que le cours a fait une fois et fournit pour que tu l'étudies
Écris to_f16(g) (convertir en float16 et revenir en float32) et scaled_to_f16(g, S) (multiplier par S, convertir, reconvertir, diviser par S). Affecte à lost_plain et lost_scaled la fraction des petits gradients donnés qui deviennent exactement zéro de chaque façon.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.