Программа курса Урок 118 из 246 · Модуль 10: Сети, которые видят (CNN)
Модуль 10: Сети, которые видят (CNN)

Меньше битов: float32, float16 и масштабирование потерь

Почему это важно Числа, хранимые в меньшем числе битов, быстрее перемещать, и они занимают вдвое меньше памяти, поэтому большие модели обучаются и поставляются в 16-битных числах. Но 16 бит ломаются двумя способами, которые нужно знать.

  • Переполнение: float16 не может хранить ничего больше 65 504. Большее значение становится бесконечностью, а затем nan расползается по обучению.
  • Исчезновение порядка: float16 не может хранить и крошечные значения; всё меньше примерно 3e-8 округляется ровно до 0. Маленькие градиенты исчезают.

Масштабирование потерь

Умножьте потери на большое число S (например, 1024) перед обратным проходом, чтобы каждый градиент стал в S раз больше и остался выше линии исчезновения. Переведите во float16, затем снова разделите на S во float32 перед обновлением. Градиенты выживают.

Собственные записанные контрольные точки курса хранятся во float16 именно поэтому: вдвое меньший размер.

Большинство больших моделей сегодня обучаются в третьем формате, bfloat16: 16 бит, как float16, но он сохраняет диапазон float32 (примерно до 3e38) и жертвует точностью (около 3 значащих цифр). Переполнение и исчезновение порядка в основном перестают быть проблемой, поэтому масштабирование потерь с ним нужно редко; цена - округление, поэтому веса и обновление по-прежнему хранятся во float32.

Слова и символы этого урока
float16
16-битные числа: вдвое меньше памяти, переполнение выше 65 504, крошечные значения становятся 0
RECORDED
настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Твоя очередь

Напишите to_f16(g) (перевод во float16 и обратно во float32) и scaled_to_f16(g, S) (умножить на S, перевести, перевести обратно, разделить на S). Присвойте lost_plain и lost_scaled долю данных маленьких градиентов, которые становятся ровно нулём при каждом способе.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.