Kurrikulum Leson 227 van 246 · Module 21: Kyk binne in 'n model
Module 21: Kyk binne in 'n model

Wat het binne verander: waves

Waarom dit saak maak Nanda et al. (2023) het getoon dat netwerke wat modulêre optelling verstaan, dit uiteindelik met golwe bereken. Elke getal word 'n punt op 'n paar sirkels, en die optel van getalle verander in die optel van hoeke. Dit is een van die min gevalle waar 'n volledige meganisme gevind en dan nagegaan is.

Lees elke embedding-kolom as 'n lys van 23 waardes, een per nommer 0 tot 22, en verdeel dit in golwe van frekwensie 1 tot 11 ( 'n golf van frekwensie k gaan k keer rond van 0 tot 22; hierdie verdeling is die Fourier transform). interp.frequency_shares(emb) gee elke frekwensie se deel van die embedding (hulle tel bymekaar tot 1). As die model 'n paar golwe gebruik, hou 'n paar frekwensies die meeste daarvan; as dit gelyk verdeel is, sou die top 3 drie van elf, of 3/11 = 0.27, hou.

patroon alleen is nie genoeg nie: bou die embedding oor vanaf net sommige frekwensies met interp.keep_frequencies(emb, keep) en meet die test accuracy. As die top 3 die meganisme is, moet die behoud van net hulle die meeste van die accuracy behou, en die verwydering van net hulle moet dit vernietig.

Woorde en simbole in hierdie les
patroon, effek, meganisme
drie soorte bewys: gekyk en gesien; dit verander en die output het verander; dit verduidelik en die verduideliking het nuwe gevalle voorspel
Fourier transform
verdeel 'n lys van waardes in golwe van verskillende frekwensies
Jou beurt

Laai g = interp.grok_model() (die opgeneemde hardloop met weight decay 3, na 40,000 stappe). Stel top3 in op hul drie grootste frekwensies, top3_share op hul totale aandeel, en test_acc vir drie embeddings: 'all', 'only top 3' en 'all but top 3'.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.