Программа курса Урок 214 из 246 · Модуль 20: Дешевая адаптация обученной модели
Модуль 20: Дешевая адаптация обученной модели

Меньшие веса (квантование)

Почему это важно Модели хранятся и запускаются как числа, и большинству чисел не нужно 32 бита. Хранение каждого веса в 8 или 4 битах делает модель в 4 или 8 раз меньше и часто быстрее. Именно так большие модели помещаются на ноутбуки и телефоны. Вопрос в том, какова цена.

Самая простая схема для каждой строки матрицы весов: найдите самое большое абсолютное значение, разделите строку на 2^(bits - 1) - 1 равных шагов с каждой стороны от нуля и округлите каждый вес до ближайшего шага. Сохраните округленные шаги (малые целые числа) и один масштаб для каждой строки.

Маленькие числа

Row [0.9, -0.3, 0.05] при 4 битах: 7 шагов с каждой стороны; масштаб 0.9 / 7 = 0.129. 0.9 -> 7 шагов -> 0.9; -0.3 -> -2.33 -> -2 шагов -> -0.257; 0.05 -> 0.39 -> 0 шагов -> 0. Малый вес исчезает.

Слова и символы в этом уроке
quantisation
хранение весов в меньшем количестве бит путем округления их до нескольких шагов
Твоя очередь

Напишите quantize_row(w, bits) как описано. Затем установите my_guess: изменение английского loss, которое вы ожидаете при 8 и 4 битах, и заполните measured для 8, 4, 3 и 2 бит используя adapt.quantize (это применяет одно и то же правило к каждой матрице).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.