Conteúdo do curso Lição 214 de 246 · Módulo 20: Adaptando um modelo treinado de forma barata
Módulo 20: Adaptando um modelo treinado de forma barata

Pesos menores (quantização)

Por que isso importa Modelos são armazenados e executados como números, e a maioria dos números não precisa de 32 bits. Armazenar cada peso em 8 ou 4 bits torna um modelo 4 ou 8 vezes menor e muitas vezes mais rápido, que é como modelos grandes cabem em laptops e celulares. A pergunta é qual é o custo.

O esquema mais simples, por linha de cada matriz de pesos: encontre o maior valor absoluto, divida a linha em 2^(bits - 1) - 1 passos iguais de cada lado do zero, e arredonde cada peso para o passo mais próximo. Armazene os passos arredondados (inteiros pequenos) e uma escala por linha.

Números pequenos

Linha [0.9, -0.3, 0.05] em 4 bits: 7 passos cada lado; escala 0.9 / 7 = 0.129. 0.9 -> 7 passos -> 0.9; -0.3 -> -2.33 -> -2 passos -> -0.257; 0.05 -> 0.39 -> 0 passos -> 0. O peso pequeno desaparece.

Palavras e símbolos nesta lição
quantisation
armazenar pesos em menos bits arredondando-os para alguns passos
Sua vez

Escreva quantize_row(w, bits) como descrito. Depois defina my_guess: a mudança de perda em inglês que você espera em 8 e em 4 bits, e preencha measured para 8, 4, 3 e 2 bits usando adapt.quantize (isso aplica a mesma regra para cada matriz).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.