Programma Les 221 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Welke delen doen ertoe

Waarom dit ertoe doet Voordat je een deel uitlegt, moet je uitzoeken of het iets doet. Het verwijderen van delen (ablation) is het goedkoopste effect dat je kunt meten, en het verandert waar je naar kijkt.

Elk blok van de GPT heeft een attention deel (schrijft 'attn_out0', 'attn_out1') en een MLP (schrijft 'mlp_out0', 'mlp_out1'). Verwijder er één tegelijk (zet de output naar nul) en meet de stijging in de held-out loss. Verwijder daarna elk van de vier heads van blok 1 één voor één met interp.head_effects(model, X, Y, 1).

Eén risico: als twee koppen hetzelfde werk doen, laat het verwijderen van één van beide bijna niets zien. Vergelijk dus ook de vier individuele koppen, bij elkaar opgeteld, met het in één keer verwijderen van alle aandacht van blok 1. Als het samen verwijderen veel meer schade aanricht dan de som, ondersteunen ze elkaar.

Woorden en symbolen in deze les
patroon, effect, mechanisme
drie soorten bewijs: gekeken en gezien; het veranderd en de output veranderde; het uitgelegd en de uitleg voorspelde nieuwe gevallen
ablation
het verwijderen van een deel (het resultaat op nul zetten) en meten wat er verandert
Jij bent aan de beurt

Vul rise in voor de vier delen, heads1 met de vier single-head rises, stel dan backup in op True als het verwijderen van alle attention van blok 1 meer kost dan tweemaal de som van de heads alleen, en biggest op het deel waarvan het verwijderen het meest kost.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.