Kurrikulum Leson 44 van 246 · Module 3: Neuron na MLP
Module 3: Neuron na MLP

Aktiverings: die buiging tussen lae

Waarom dit saak maak Sonder 'n buiging tussen lae is tien lae nie slimmer as een nie. Die keuse van buiging besluit ook of gradiënte kan vloei.

Drie aktiverings wat jy oral sal teenkom:

  • ReLU: max(0, z). Goedkoop, en sy helling is presies 1 vir positiewe insets, so gradiënte gaan ongedempd deur. Helling 0 vir negatiewes.
  • tanh: druk in tot -1 tot 1, gesentreer op 0. Steilheid 1 by 0 maar amper 0 vir groot insets: dit saturates.
  • GELU: 'n glad ReLU wat in transformers gebruik word, ongeveer z keer sigmoid(1.702 z).

Waarom die helling saaklik is

Backpropagation vermenigvuldig met elke aktivering se helling. 'n Helling naby 0 ('n versadigde tanh, of ReLU op 'n negatiewe inset) blokkeer die gradiënt. Jy sal sien dat dit werklike traing-mislukking in Module 6 veroorsaak.

Saturate: om in 'n plat deel van die kurwe te sit, waar die helling, en dus die gradiënt deur dit, byna nul is.

Opsomming 'n aktivering buig; sy helling besluit hoeveel gradiënt terugvloei.

Woorde en simbole in hierdie les
sigmoid
1 / (1 + exp(-z)): druk enige getal in 0 tot 1
ReLU
max(0, z): hou positiewes, maak negatiewes nul
backpropagation
die kettingreël loop agteruit om elke gewig se gradiënt te kry
Jou beurt

Skryf elke aktivering en sy helling: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, almal op arrays. Gebruik die GELU-benadering z * sigmoid(1.702 z). Sy helling het twee reëls saam: die produkreël (die helling van u × v is u' × v + u × v') en die kettingreël binne die sigmoid (die helling van sigmoid(1.702 z) is 1.702 × s(1 - s), met s = sigmoid(1.702 z)). Gebruik 0 vir ReLU se helling presies by 0. Die verborge toets kontroleer elke helling teen 'n duwtjie.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.