Программа курса Урок 204 из 250 · Тонкая настройка, концептуально
Тонкая настройка, концептуально

Объем памяти: 4-bit против 16-bit

Вот арифметика, которая определяет, поместится ли модель на ваше железо, и почему "квантованные" модели повсюду. Веса модели это просто числа, и каждое число занимает определенное количество байт в зависимости от его точности. Объем памяти простой:

bytes = params * bits_per_param / 8
# (8 bits per byte)

Обучение и инференс с полной точностью часто используют 16-bit floats (2 байта каждый). Чтобы запустить модель на ноутбуке или телефоне, вы quantize ее: храните каждый вес в меньшем количестве бит. 4-bit квантование использует четверть байтов, потому что 4 бита это четверть от 16 бит. То же количество параметров, одна четверть памяти.

Работа с моделью на 7 миллиардов параметров:

16-bit: 7e9 * 16 / 8 = 1.4e10 bytes  ~= 13.04 GiB
 4-bit: 7e9 *  4 / 8 = 3.5e9  bytes  ~=  3.26 GiB   (exactly 1/4)

Это разница между моделью, которой нужна мощная GPU, и той, что работает на ноутбуке. Именно поэтому помощник на устройстве (как тот, что работает в ИИ-тьюторе этого курса) поставляется с 4-битной моделью: цена качества мала, а выигрыш в памяти и пропускной способности огромен. Это также причина, почему эффективная дообучающая настройка параметров (LoRA) привлекательна, вы храните и поставляете только несколько маленьких весов адаптера поверх замороженной, возможно, квантованной базы.

Что опускает простая формула. Она считает только веса, поэтому считайте это нижним пределом. Реальные 4-битные форматы также хранят масштаб для каждой маленькой группы весов, что увеличивает их до примерно 4.5 или 5 бит на вес (модель 7B ближе к 4 GiB, чем к 3.26). Запуск модели требует места для KV cache, который растет вместе с длиной контекста. И training требует гораздо больше, чем веса: полное fine-tuning с оптимизатором Adam хранит градиенты и два состояния оптимизатора на каждый вес, около 16 байт на параметр в mixed precision, так что примерно 100 GiB для модели 7B до учета активаций. Этот разрыв и есть настоящая причина существования LoRA и квантованного fine-tuning.

Мы сообщаем footprint в GiB (гибибайтах), деля байты на 1024 ** 3. Оставьте это как точное число с плавающей запятой, не округляйте, чтобы нижеуказанные связи соблюдались точно.

Создайте две функции.

  • model_memory(params, bits_per_param) -> объем в GiB как float: params * bits_per_param / 8 / (1024 ** 3).
  • quantization_savings(params, from_bits, to_bits) -> {"before_gb", "after_gb", "ratio"}, где before_gb и after_gb это два отпечатка, а ratio это from_bits / to_bits (во сколько раз меньше квантованная модель).

Математика реальна и проверяема; обучение на GPU, которое она позволяет, не может быть запущено в этом песочнице. Нажмите Run, чтобы вывести размер 7B модели при нескольких значениях precision.

Твоя очередь

Напишите model_memory(params, bits_per_param), возвращающий footprint в GiB как float (params * bits_per_param / 8 / (1024 ** 3)), и quantization_savings(params, from_bits, to_bits), возвращающий {"before_gb", "after_gb", "ratio"}, где два footprinta приходят из model_memory и ratio это from_bits / to_bits. Не округляйте; сохраняйте точные float, чтобы 4-bit выходил как ровно одна четвертая от 16-bit.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.