Achtertoe vir matriksvermegvuldiging
Waarom dit saak maak Matrix multiply is die werkperd van elke laag. Sy terugwaartse reël is twee reëls, en jy kan dit uit vorme alleen aflei.
Klein getalle
Neem out = A @ B met A van vorm (2, 3) en B van vorm (3, 4), sodat out (2, 4) is. Die gradiënt wat aankom, G, het out se vorm (2, 4). A se gradiënt moet A se vorm (2, 3) hê. Die enigste manier om (2, 3) uit G (2, 4) en B (3, 4) te maak is G @ B.T. Net so moet B se gradiënt (3, 4) A.T @ G wees.
Kontroleer een inskrywing in jou kop: out[0, 0] = A[0, 0] B[0, 0] + A[0, 1] B[1, 0] + A[0, 2] B[2, 0]. Verander A[0, 1] effens en out[0, 0] skuif met B[1, 0] maal die verandering. Dit is presies inskrywing (0, 1) van G @ B.T wanneer G 1 is by (0, 0) en 0 elders.
Opsomming dA = G @ B.T, dB = A.T @ G. As jy vergeet, pas die vorms bymekaar.
Woorde en simbole in hierdie les
- Tensor
- hier: 'n array plus sy gradiënt plus die Tensors waaruit dit gekom het
- .grad
- die gradiënt van die finale loss met verwysing na hierdie Tensor
- unbroadcast
- som die gradiënt terug na die vorm waaruit dit gestrek is
Skryf __matmul__ met sy _backward. Die verborge toets gradiënt-kontrole (A @ B) * C vir willekeur vorms.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.