Kurrikulum Leson 223 van 246 · Module 21: Kyk binne in 'n model
Module 21: Kyk binne in 'n model

Meer funksies as spasie: superposisie

Waarom dit saak maak As elke eenheid een ding beteken het, sou dit maklik wees om 'n netwerk te lees. Hulle doen gewoonlik nie, en die speelmodel van Elhage et al. (2022) wys waarom: 'n netwerk kan meer kenmerke stoor as wat dit nommers het, solank as die kenmerke selde saam aan is.

Die speelding: 5 kenmerke, elk is meestal 0 en andersins 'n getal tussen 0 en 1. 'n Matrix W (2 by 5) druk hulle saam in net 2 getalle, h = W x, en die model lees hulle terug as relu(WT h + b). Kenmerk i tel i soveel in die loss (kenmerk 0 meeste). Kolom i van W is die rigting waar kenmerk i gestoor word; 'n kolom naby nul beteken die kenmerk is weggelaat.

interp.superposition(sparsity=s) doen die opleiding (s = die kans dat elke kenmerk 0 is). interp.stored(W) lys die kenmerke wat dit behou het en interp.angles(W) die hoeke tussen hulle.

Voorspel eerste: wanneer kenmerke selde aan is (sparsity 0.97), hoeveel van die 5 kan 2 nommers behou?

Woorde en simbole in hierdie les
superposition
storing meer funksies as daar nommers is, soos rigtings wat selde saam is
Jou beurt

Stel my_guess in op 'n getal van 2 tot 5. Graai by sparsity 0, 0.7 en 0.97 (seed 0) en vul kept[s] met die aantal kenmerke wat gestoor is, en smallest_angle[s] met die kleinste hoek tussen twee gestorede kenmerke.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.