Pesos menores (quantização)
Por que isso importa Modelos são armazenados e executados como números, e a maioria dos números não precisa de 32 bits. Armazenar cada peso em 8 ou 4 bits torna um modelo 4 ou 8 vezes menor e muitas vezes mais rápido, que é como modelos grandes cabem em laptops e celulares. A pergunta é qual é o custo.
O esquema mais simples, por linha de cada matriz de pesos: encontre o maior valor absoluto, divida a linha em 2^(bits - 1) - 1 passos iguais de cada lado do zero, e arredonde cada peso para o passo mais próximo. Armazene os passos arredondados (inteiros pequenos) e uma escala por linha.
Números pequenos
Linha [0.9, -0.3, 0.05] em 4 bits: 7 passos cada lado; escala 0.9 / 7 = 0.129. 0.9 -> 7 passos -> 0.9; -0.3 -> -2.33 -> -2 passos -> -0.257; 0.05 -> 0.39 -> 0 passos -> 0. O peso pequeno desaparece.
Palavras e símbolos nesta lição
- quantisation
- armazenar pesos em menos bits arredondando-os para alguns passos
Escreva quantize_row(w, bits) como descrito. Depois defina my_guess: a mudança de perda em inglês que você espera em 8 e em 4 bits, e preencha measured para 8, 4, 3 e 2 bits usando adapt.quantize (isso aplica a mesma regra para cada matriz).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.