Meer funksies as spasie: superposisie
Waarom dit saak maak As elke eenheid een ding beteken het, sou dit maklik wees om 'n netwerk te lees. Hulle doen gewoonlik nie, en die speelmodel van Elhage et al. (2022) wys waarom: 'n netwerk kan meer kenmerke stoor as wat dit nommers het, solank as die kenmerke selde saam aan is.
Die speelding: 5 kenmerke, elk is meestal 0 en andersins 'n getal tussen 0 en 1. 'n Matrix W (2 by 5) druk hulle saam in net 2 getalle, h = W x, en die model lees hulle terug as relu(WT h + b). Kenmerk i tel i soveel in die loss (kenmerk 0 meeste). Kolom i van W is die rigting waar kenmerk i gestoor word; 'n kolom naby nul beteken die kenmerk is weggelaat.
interp.superposition(sparsity=s) doen die opleiding (s = die kans dat elke kenmerk 0 is). interp.stored(W) lys die kenmerke wat dit behou het en interp.angles(W) die hoeke tussen hulle.
Voorspel eerste: wanneer kenmerke selde aan is (sparsity 0.97), hoeveel van die 5 kan 2 nommers behou?
Woorde en simbole in hierdie les
- superposition
- storing meer funksies as daar nommers is, soos rigtings wat selde saam is
Stel my_guess in op 'n getal van 2 tot 5. Graai by sparsity 0, 0.7 en 0.97 (seed 0) en vul kept[s] met die aantal kenmerke wat gestoor is, en smallest_angle[s] met die kleinste hoek tussen twee gestorede kenmerke.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.