Aktiverings: die buiging tussen lae
Waarom dit saak maak Sonder 'n buiging tussen lae is tien lae nie slimmer as een nie. Die keuse van buiging besluit ook of gradiënte kan vloei.
Drie aktiverings wat jy oral sal teenkom:
- ReLU: max(0, z). Goedkoop, en sy helling is presies 1 vir positiewe insets, so gradiënte gaan ongedempd deur. Helling 0 vir negatiewes.
- tanh: druk in tot -1 tot 1, gesentreer op 0. Steilheid 1 by 0 maar amper 0 vir groot insets: dit saturates.
- GELU: 'n glad ReLU wat in transformers gebruik word, ongeveer z keer sigmoid(1.702 z).
Waarom die helling saaklik is
Backpropagation vermenigvuldig met elke aktivering se helling. 'n Helling naby 0 ('n versadigde tanh, of ReLU op 'n negatiewe inset) blokkeer die gradiënt. Jy sal sien dat dit werklike traing-mislukking in Module 6 veroorsaak.
Saturate: om in 'n plat deel van die kurwe te sit, waar die helling, en dus die gradiënt deur dit, byna nul is.
Opsomming 'n aktivering buig; sy helling besluit hoeveel gradiënt terugvloei.
Woorde en simbole in hierdie les
- sigmoid
- 1 / (1 + exp(-z)): druk enige getal in 0 tot 1
- ReLU
- max(0, z): hou positiewes, maak negatiewes nul
- backpropagation
- die kettingreël loop agteruit om elke gewig se gradiënt te kry
Skryf elke aktivering en sy helling: relu, relu_slope, tanh, tanh_slope, gelu, gelu_slope, almal op arrays. Gebruik die GELU-benadering z * sigmoid(1.702 z). Sy helling het twee reëls saam: die produkreël (die helling van u × v is u' × v + u × v') en die kettingreël binne die sigmoid (die helling van sigmoid(1.702 z) is 1.702 × s(1 - s), met s = sigmoid(1.702 z)). Gebruik 0 vir ReLU se helling presies by 0. Die verborge toets kontroleer elke helling teen 'n duwtjie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.