Programme Leçon 214 sur 246 · Module 20 : Adapter un modèle entraîné à peu de frais
Module 20 : Adapter un modèle entraîné à peu de frais

Des poids plus petits (quantification)

Pourquoi c'est important Les modèles sont stockés et exécutés sous forme de nombres, et la plupart des nombres n'ont pas besoin de 32 bits. Stocker chaque poids sur 8 ou 4 bits rend un modèle 4 ou 8 fois plus petit et souvent plus rapide, c'est ainsi que de grands modèles tiennent sur des portables et des téléphones. La question est ce que ça coûte.

Le schéma le plus simple, par ligne de chaque matrice de poids : trouve la plus grande valeur absolue, divise la ligne en 2^(bits - 1) - 1 pas égaux de chaque côté de zéro, et arrondis chaque poids au pas le plus proche. Stocke les pas arrondis (de petits entiers) et une échelle par ligne.

De tout petits nombres

La ligne [0.9, -0.3, 0.05] sur 4 bits : 7 pas de chaque côté ; échelle 0.9 / 7 = 0.129. 0.9 -> 7 pas -> 0.9 ; -0.3 -> -2.33 -> -2 pas -> -0.257 ; 0.05 -> 0.39 -> 0 pas -> 0. Le petit poids disparaît.

Mots et symboles de cette leçon
quantification
stocker des poids sur moins de bits en les arrondissant à quelques pas
À ton tour

Écris quantize_row(w, bits) comme décrit. Puis affecte my_guess : le changement de la perte en anglais que tu attends à 8 et à 4 bits, et remplis measured pour 8, 4, 3 et 2 bits avec adapt.quantize (qui applique la même règle à chaque matrice).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.