Gradiënte van hele matrikse (die vormreël)
Waarom dit saak maak Layers werk op hele matrices, so hulle gradiënte is ook matrices. Een reël en een truc lei amper elke laag se backward pass af sonder om enigiets te memoriseer.
Die vormreël
Die verlies L is een getal. Die gradiënt van L met betrekking tot enige array het presies die vorm van daardie array: een helling per inskrywing. So as W is (3, 4), is dL/dW (3, 4).
Klein getalle: Y = X @ W
Sê X is (2, 3), W is (3, 4), Y = X @ W is (2, 4), en sommige latere stappe verander Y in L. Agtertoe gee dit jou G = dL/dY, vorm (2, 4). Elke inskrywing Y[i, j] is 'n som oor k van X[i, k] W[k, j]. Skuif W[k, j]: dit skuif elke Y[i, j] in kolom j met X[i, k] keer die skuif. So dL/dW[k, j] = som oor i van X[i, k] G[i, j]. Dit is een inskrywing van X.T @ G, wat (3, 4) is: die vorm van W, soos die reël sê.
Dieselfde redenering vir X gee dL/dX = G @ W.T, vorm (2, 3). 'n Vinnige manier om albei te onthou: sit G saam met die ander matriks, getransponeer, in die enigste volgorde waar die vorme pas.
Die Jacobian, en waarom niemand bou dit nie
Die volledige tabel van hoe elke uitvoer-item saam met elke invoer-item beweeg is die Jacobian. Vir Y = X @ W met W van grootte 1000 by 1000 en 64 rye, sou daardie tabel 64 duisend uitvoere maal 'n miljoen gewigte hê: 64 miljard items. Backward bou dit nooit nie: dit het net G maal die Jacobian nodig, wat die klein produk X.T @ G is. Daardie produk is die vektor-Jacobian produk van die vorige les.
Jacobian: elke uitset se helling met betrekking tot elke inset, as een groot tabel. Vector-Jacobian product: die gradiënt wat teruggedruk word deur een stap, bereken direk sonder die tabel.
Opsomming Dieselfde vorm as die ding. Vir Y = X @ W: dW = X.T @ G en dX = G @ W.T.
Woorde en simbole in hierdie les
- vector
- 'n lys van nommers, een per kenmerk
- afgeleide (df/dx)
- hoe vinnig die output verander per eenheid skuif van die input
Skryf matmul_grads(X, W, G) wat (dX, dW) teruggee vir Y = X @ W, en elementwise_grads(A, B, G) wat (dA, dB) teruggee vir Y = A * B (deurmekaar dieselfde vorme, item vir item). Die verborge toets kontroleer albei teen nudging, op vorme wat jy nog nie gesien het nie.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.