Programma Les 222 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Op zoek naar een inductiekop

Waarom dit ertoe doet De induction head (Olsson et al. 2022) is het bestbekende verhaal in interpretability: één head vindt de eerdere kopie van de huidige token en let op de token daarna, zodat het model een herhaling kan voortzetten. Het is echt in grote modellen. De fout is om aan te nemen dat een klein model op dezelfde manier kopieert omdat het kopieert.

De cursus trainde een 2-block GPT alleen om te kopiëren: elke rij is een willekeurige reeks van 4 tot 16 letters, herhaald om de 32 posities te vullen. De eerste reeks kan niet worden voorspeld (loss ongeveer ln 26 = 3.26); daarna kan elke letter worden gekopieerd. Het model leerde kopiëren: zijn loss op de herhalingen is ongeveer 0.13 tot 0.15 (het hangt af van het sample).

De voorspelling uit het tekstboek: een kop richt het grootste deel van zijn aandacht op de letter na een eerdere kopie van de huidige letter. Meet dit. Voor elke kop is de deel van de aandacht, gemiddeld over de herhalingsposities, die op posities j valt waar de letter voor j gelijk is aan de huidige letter. Vergelijk dit met uniforme aandacht, die gelijkmatig over alle eerdere posities wordt verspreid. Verwijder daarna elke kop en meet het herhalingsverlies.

Voorspel eerst: zal één hoofd meer dan de helft van zijn aandacht daar richten?

Waar het veld nu is Inductiekoppen zijn echt: Olsson et al. (2022) vonden ze ontstaan in een plotselinge faseovergang in modellen getraind op gewoon tekst, inclusief modellen met twee lagen en alleen attention. Waarom niet hier? Dit model heeft MLPs en layer norm, kort getraind op een synthetische kopieertaken met verschillende mogelijke oplossingen, en het vond er een andere. Dat is het punt van de les, en ook de grens: een speelgoed dat geen gepubliceerd effect laat zien is geen bewijs ertegen. Resultaten van de kleine modellen van deze cursus zijn metingen van die modellen; op schaal zullen sommige standhouden en zullen andere niet.

Woorden en symbolen in deze les
interpreteerbaarheid
uitzoeken wat een getraind netwerk van binnenuit berekent, en dit controleren
patroon, effect, mechanisme
drie soorten bewijs: gekeken en gezien; het veranderd en de output veranderde; het uitgelegd en de uitleg voorspelde nieuwe gevallen
induction head
a kop die een eerdere kopie van het huidige token vindt en let op het token daarna
Jij bent aan de beurt

Zet my_guess op "yes" of "no". Schrijf induction_share(A, X, Ls): voor de attention weights A (B, t, t) van één head, is het gemiddelde over rijen b en herhaalde posities i (van Ls[b] tot t - 1) van de attention op posities j ≤ i met X[b, j - 1] == X[b, i] (j ≥ 1). Vul share[(layer, head)] in voor de 8 heads en removed[(layer, head)] met de repeat loss wanneer die head op nul wordt gezet. Zet needed op de head waarvan het verwijderen de meeste schade aanricht.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.