Программа курса Урок 44 из 246 · Модуль 3: От нейрона к MLP
Модуль 3: От нейрона к MLP

Активации: изгиб между слоями

Почему это важно Без изгиба между слоями десять слоёв не умнее одного. Выбор изгиба также решает, могут ли проходить градиенты.

Три активации, которые вы будете встречать повсюду:

  • ReLU: max(0, z). Дёшево, и её наклон ровно 1 для положительных входов, поэтому градиенты проходят без ослабления. Наклон 0 для отрицательных.
  • tanh: сжимает в диапазон от -1 до 1, с центром в 0. Наклон 1 в нуле, но почти 0 для больших входов: она насыщается.
  • GELU: гладкая ReLU, используемая в трансформерах, примерно z, умноженное на sigmoid(1.702 z).

Почему важен наклон

Обратное распространение умножает на наклон каждой активации. Наклон около 0 (насыщенная tanh или ReLU на отрицательном входе) блокирует градиент. Вы увидите, как это вызывает настоящие провалы обучения в модуле 6.

Насыщаться: находиться на плоском участке кривой, где наклон, а значит и градиент через него, почти ноль.

Итоги Активация изгибает; её наклон решает, сколько градиента течёт назад.

Слова и символы этого урока
сигмоида
1 / (1 + exp(-z)): сжимает любое число в диапазон от 0 до 1
ReLU
max(0, z): оставляет положительные, обнуляет отрицательные
обратное распространение
цепное правило, выполненное назад, чтобы получить градиент каждого веса
Твоя очередь

Напишите каждую активацию и её наклон: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, все на массивах. Используйте приближение GELU z * sigmoid(1.702 z). Его наклону нужны два правила вместе: правило произведения (наклон u × v равен u' × v + u × v') и цепное правило внутри сигмоиды (наклон sigmoid(1.702 z) равен 1,702 × s(1 - s), где s = sigmoid(1.702 z)). Для наклона ReLU ровно в 0 используйте 0. Скрытый тест сверяет каждый наклон с подталкиванием.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.