Pesos más pequeños (cuantización)
Por qué importa Los modelos se guardan y se ejecutan como números, y la mayoría de los números no necesitan 32 bits. Guardar cada peso con 8 o 4 bits hace un modelo 4 u 8 veces más pequeño y a menudo más rápido, y así es como los modelos grandes caben en portátiles y teléfonos. La pregunta es cuánto cuesta.
El esquema más sencillo, por fila de cada matriz de pesos: encuentra el mayor valor absoluto, divide la fila en 2^(bits - 1) - 1 escalones iguales a cada lado del cero, y redondea cada peso al escalón más cercano. Guarda los escalones redondeados (enteros pequeños) y una escala por fila.
Números diminutos
La fila [0.9, -0.3, 0.05] con 4 bits: 7 escalones a cada lado; escala 0.9 / 7 = 0.129. 0.9 -> 7 escalones -> 0.9; -0.3 -> -2.33 -> -2 escalones -> -0.257; 0.05 -> 0.39 -> 0 escalones -> 0. El peso pequeño desaparece.
Palabras y símbolos de esta lección
- cuantización
- guardar los pesos con menos bits redondeándolos a unos pocos escalones
Escribe quantize_row(w, bits) como se describe. Luego pon my_guess: el cambio de la pérdida en inglés que esperas con 8 y con 4 bits, y rellena measured para 8, 4, 3 y 2 bits usando adapt.quantize (aplica la misma regla a todas las matrices).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.