Programme Leçon 118 sur 246 · Module 10 : Des réseaux qui voient (CNN)
Module 10 : Des réseaux qui voient (CNN)

Moins de bits : float32, float16 et mise à l'échelle de la perte

Pourquoi c'est important Les nombres stockés sur moins de bits sont plus rapides à déplacer et prennent moitié moins de mémoire, donc les gros modèles s'entraînent et sont livrés en nombres de 16 bits. Mais 16 bits cassent de deux façons que tu dois connaître.

  • Débordement : float16 ne peut rien contenir au-dessus de 65 504. Une valeur plus grande devient l'infini, puis nan se répand dans l'entraînement.
  • Sous-dépassement : float16 ne peut pas non plus contenir de valeurs minuscules ; tout ce qui est plus petit qu'environ 3e-8 est arrondi à exactement 0. Les petits gradients disparaissent.

La mise à l'échelle de la perte

Multiplie la perte par un grand nombre S (disons 1 024) avant la passe arrière, pour que chaque gradient soit S fois plus grand et reste au-dessus de la ligne de sous-dépassement. Convertis en float16, puis redivise par S en float32 avant la mise à jour. Les gradients survivent.

Les points de sauvegarde enregistrés du cours sont stockés en float16 exactement pour cette raison : moitié de la taille.

La plupart des grands modèles s'entraînent aujourd'hui dans un troisième format, le bfloat16 : 16 bits comme float16, mais il garde la plage de float32 (jusqu'à environ 3e38) et sacrifie plutôt la précision (environ 3 chiffres significatifs). Le débordement et le sous-dépassement cessent en grande partie d'être des problèmes, donc la mise à l'échelle de la perte est rarement nécessaire avec lui ; le prix, c'est l'arrondi, c'est pourquoi les poids et la mise à jour sont encore gardés en float32.

Mots et symboles de cette leçon
float16
nombres sur 16 bits : moitié de la mémoire, débordement au-dessus de 65 504, les valeurs minuscules deviennent 0
RECORDED
un vrai entraînement que le cours a fait une fois et fournit pour que tu l'étudies
À ton tour

Écris to_f16(g) (convertir en float16 et revenir en float32) et scaled_to_f16(g, S) (multiplier par S, convertir, reconvertir, diviser par S). Affecte à lost_plain et lost_scaled la fraction des petits gradients donnés qui deviennent exactement zéro de chaque façon.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.