Меньше битов: float32, float16 и масштабирование потерь
Почему это важно Числа, хранимые в меньшем числе битов, быстрее перемещать, и они занимают вдвое меньше памяти, поэтому большие модели обучаются и поставляются в 16-битных числах. Но 16 бит ломаются двумя способами, которые нужно знать.
- Переполнение: float16 не может хранить ничего больше 65 504. Большее значение становится бесконечностью, а затем nan расползается по обучению.
- Исчезновение порядка: float16 не может хранить и крошечные значения; всё меньше примерно 3e-8 округляется ровно до 0. Маленькие градиенты исчезают.
Масштабирование потерь
Умножьте потери на большое число S (например, 1024) перед обратным проходом, чтобы каждый градиент стал в S раз больше и остался выше линии исчезновения. Переведите во float16, затем снова разделите на S во float32 перед обновлением. Градиенты выживают.
Собственные записанные контрольные точки курса хранятся во float16 именно поэтому: вдвое меньший размер.
Большинство больших моделей сегодня обучаются в третьем формате, bfloat16: 16 бит, как float16, но он сохраняет диапазон float32 (примерно до 3e38) и жертвует точностью (около 3 значащих цифр). Переполнение и исчезновение порядка в основном перестают быть проблемой, поэтому масштабирование потерь с ним нужно редко; цена - округление, поэтому веса и обновление по-прежнему хранятся во float32.
Слова и символы этого урока
- float16
- 16-битные числа: вдвое меньше памяти, переполнение выше 65 504, крошечные значения становятся 0
- RECORDED
- настоящий запуск, который курс обучил один раз и поставляет вам для изучения
Напишите to_f16(g) (перевод во float16 и обратно во float32) и scaled_to_f16(g, S) (умножить на S, перевести, перевести обратно, разделить на S). Присвойте lost_plain и lost_scaled долю данных маленьких градиентов, которые становятся ровно нулём при каждом способе.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.