Объем памяти: 4-bit против 16-bit
Вот арифметика, которая определяет, поместится ли модель на ваше железо, и почему "квантованные" модели повсюду. Веса модели это просто числа, и каждое число занимает определенное количество байт в зависимости от его точности. Объем памяти простой:
bytes = params * bits_per_param / 8
# (8 bits per byte)Обучение и инференс с полной точностью часто используют 16-bit floats (2 байта каждый). Чтобы запустить модель на ноутбуке или телефоне, вы quantize ее: храните каждый вес в меньшем количестве бит. 4-bit квантование использует четверть байтов, потому что 4 бита это четверть от 16 бит. То же количество параметров, одна четверть памяти.
Работа с моделью на 7 миллиардов параметров:
16-bit: 7e9 * 16 / 8 = 1.4e10 bytes ~= 13.04 GiB
4-bit: 7e9 * 4 / 8 = 3.5e9 bytes ~= 3.26 GiB (exactly 1/4)Это разница между моделью, которой нужна мощная GPU, и той, что работает на ноутбуке. Именно поэтому помощник на устройстве (как тот, что работает в ИИ-тьюторе этого курса) поставляется с 4-битной моделью: цена качества мала, а выигрыш в памяти и пропускной способности огромен. Это также причина, почему эффективная дообучающая настройка параметров (LoRA) привлекательна, вы храните и поставляете только несколько маленьких весов адаптера поверх замороженной, возможно, квантованной базы.
Что опускает простая формула. Она считает только веса, поэтому считайте это нижним пределом. Реальные 4-битные форматы также хранят масштаб для каждой маленькой группы весов, что увеличивает их до примерно 4.5 или 5 бит на вес (модель 7B ближе к 4 GiB, чем к 3.26). Запуск модели требует места для KV cache, который растет вместе с длиной контекста. И training требует гораздо больше, чем веса: полное fine-tuning с оптимизатором Adam хранит градиенты и два состояния оптимизатора на каждый вес, около 16 байт на параметр в mixed precision, так что примерно 100 GiB для модели 7B до учета активаций. Этот разрыв и есть настоящая причина существования LoRA и квантованного fine-tuning.
Мы сообщаем footprint в GiB (гибибайтах), деля байты на 1024 ** 3. Оставьте это как точное число с плавающей запятой, не округляйте, чтобы нижеуказанные связи соблюдались точно.
Создайте две функции.
model_memory(params, bits_per_param)-> объем в GiB как float:params * bits_per_param / 8 / (1024 ** 3).quantization_savings(params, from_bits, to_bits)->{"before_gb", "after_gb", "ratio"}, гдеbefore_gbиafter_gbэто два отпечатка, аratioэтоfrom_bits / to_bits(во сколько раз меньше квантованная модель).
Математика реальна и проверяема; обучение на GPU, которое она позволяет, не может быть запущено в этом песочнице. Нажмите Run, чтобы вывести размер 7B модели при нескольких значениях precision.
Напишите model_memory(params, bits_per_param), возвращающий footprint в GiB как float (params * bits_per_param / 8 / (1024 ** 3)), и quantization_savings(params, from_bits, to_bits), возвращающий {"before_gb", "after_gb", "ratio"}, где два footprinta приходят из model_memory и ratio это from_bits / to_bits. Не округляйте; сохраняйте точные float, чтобы 4-bit выходил как ровно одна четвертая от 16-bit.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.