Активации: изгиб между слоями
Почему это важно Без изгиба между слоями десять слоёв не умнее одного. Выбор изгиба также решает, могут ли проходить градиенты.
Три активации, которые вы будете встречать повсюду:
- ReLU: max(0, z). Дёшево, и её наклон ровно 1 для положительных входов, поэтому градиенты проходят без ослабления. Наклон 0 для отрицательных.
- tanh: сжимает в диапазон от -1 до 1, с центром в 0. Наклон 1 в нуле, но почти 0 для больших входов: она насыщается.
- GELU: гладкая ReLU, используемая в трансформерах, примерно z, умноженное на sigmoid(1.702 z).
Почему важен наклон
Обратное распространение умножает на наклон каждой активации. Наклон около 0 (насыщенная tanh или ReLU на отрицательном входе) блокирует градиент. Вы увидите, как это вызывает настоящие провалы обучения в модуле 6.
Насыщаться: находиться на плоском участке кривой, где наклон, а значит и градиент через него, почти ноль.
Итоги Активация изгибает; её наклон решает, сколько градиента течёт назад.
Слова и символы этого урока
- сигмоида
- 1 / (1 + exp(-z)): сжимает любое число в диапазон от 0 до 1
- ReLU
- max(0, z): оставляет положительные, обнуляет отрицательные
- обратное распространение
- цепное правило, выполненное назад, чтобы получить градиент каждого веса
Напишите каждую активацию и её наклон: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, все на массивах. Используйте приближение GELU z * sigmoid(1.702 z). Его наклону нужны два правила вместе: правило произведения (наклон u × v равен u' × v + u × v') и цепное правило внутри сигмоиды (наклон sigmoid(1.702 z) равен 1,702 × s(1 - s), где s = sigmoid(1.702 z)). Для наклона ReLU ровно в 0 используйте 0. Скрытый тест сверяет каждый наклон с подталкиванием.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.