Temario Lección 214 de 246 · Módulo 20: Adaptar barato un modelo entrenado
Módulo 20: Adaptar barato un modelo entrenado

Pesos más pequeños (cuantización)

Por qué importa Los modelos se guardan y se ejecutan como números, y la mayoría de los números no necesitan 32 bits. Guardar cada peso con 8 o 4 bits hace un modelo 4 u 8 veces más pequeño y a menudo más rápido, y así es como los modelos grandes caben en portátiles y teléfonos. La pregunta es cuánto cuesta.

El esquema más sencillo, por fila de cada matriz de pesos: encuentra el mayor valor absoluto, divide la fila en 2^(bits - 1) - 1 escalones iguales a cada lado del cero, y redondea cada peso al escalón más cercano. Guarda los escalones redondeados (enteros pequeños) y una escala por fila.

Números diminutos

La fila [0.9, -0.3, 0.05] con 4 bits: 7 escalones a cada lado; escala 0.9 / 7 = 0.129. 0.9 -> 7 escalones -> 0.9; -0.3 -> -2.33 -> -2 escalones -> -0.257; 0.05 -> 0.39 -> 0 escalones -> 0. El peso pequeño desaparece.

Palabras y símbolos de esta lección
cuantización
guardar los pesos con menos bits redondeándolos a unos pocos escalones
Tu turno

Escribe quantize_row(w, bits) como se describe. Luego pon my_guess: el cambio de la pérdida en inglés que esperas con 8 y con 4 bits, y rellena measured para 8, 4, 3 y 2 bits usando adapt.quantize (aplica la misma regla a todas las matrices).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.