Programma Les 219 van 246 · Module 21: In een model kijken
Module 21: In een model kijken

Een probe heeft een controle nodig

Waarom dit ertoe doet Een probe (een kleine lineaire classifier getraind op de interne vectoren van een model) is het meest gebruikte hulpmiddel in interpreteerbaarheid, en het meest verkeerd geïnterpreteerde. Hoge nauwkeurigheid kan betekenen dat het model de zaak berekende, of dat de probe dat deed.

Je hebt lineaire probes ontmoet in Module 18. Train hier een op de vectoren van de GPT op twee plaatsen: 'embed' (de embedding van het karakter plus de positie, voor elke laag) en 'resid1' (na de eerste blok). Drie vragen, elk een 0/1 label voor elk karakter:

  • 'vowel': is dit teken een klinker?
  • 'control': is het een van b, c, g, n, r, s, t? Een groep die niets betekent, gekozen om net zo vaak voor te komen als de klinkers (28,7% van de tekens, tegenover 28,8%).
  • 'third letter': is het de derde letter van het woord, of later?

Voorspel eerst: als de klinkerprobe scores dicht bij 100% liggen, laat dat dan zien dat het model heeft geleerd wat een klinker is?

Woorden en symbolen in deze les
interpretability
uitzoeken wat een getraind netwerk van binnenuit berekent, en dit controleren
probe
een kleine lineaire classifier getraind om iets uit de interne vectoren van een model te lezen
Jij bent aan de beurt

my_guess naar "yes" of "no" zetten. Vul scores[kind][site] met probe(site, kind) voor de drie soorten en de twee locaties. Zet daarna computed op de ene soort waarvan de probe laat zien dat de laag iets heeft uitgewerkt (het is veel makkelijker na de block dan alleen vanuit de embedding).

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.