Programma Les 227 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Wat er binnen veranderde: waves

Waarom dit ertoe doet Nanda et al. (2023) lieten zien dat netwerken die modulaire optelling begrijpen, dit uiteindelijk berekenen met golven: elk getal wordt een punt op een paar cirkels, en het optellen van getallen verandert in het optellen van hoeken. Het is een van de weinige gevallen waar een volledig mechanisme werd gevonden en daarna werd gecontroleerd.

Lees elke embedding kolom als een lijst van 23 waarden, één per nummer 0 tot 22, en splits deze in golven van frequentie 1 tot 11 (een golf van frequentie k gaat k keer rond van 0 tot 22; deze splitsing is de Fourier transform). interp.frequency_shares(emb) geeft het aandeel van elke frequentie in de embedding (ze tellen samen tot 1). Als het model een paar golven gebruikt, bevatten een paar frequenties het grootste deel; gelijkmatig verdeeld zouden de top 3 precies 3/11 = 0.27 bevatten.

Het

A patroon alleen is niet genoeg: bouw de embedding opnieuw op vanuit slechts enkele frequenties met interp.keep_frequencies(emb, keep) en meet de test accuracy. Als de top 3 het mechanisme zijn, zou het behouden van alleen deze de meeste accuracy moeten behouden, en het verwijderen van alleen deze zou deze moeten vernietigen.

Woorden en symbolen in deze les
patroon, effect, mechanisme
drie soorten bewijs: gekeken en gezien; het veranderd en de output veranderde; het uitgelegd en de uitleg voorspelde nieuwe gevallen
Fourier transform
het splitsen van een lijst met waarden in golven van verschillende frequenties
Jij bent aan de beurt

Load g = interp.grok_model() (de opgenomen run met weight decay 3, na 40,000 stappen). Zet top3 op hun drie grootste frequenties, top3_share op hun totale aandeel, en test_acc voor drie embeddings: 'all', 'only top 3' en 'all but top 3'.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.