Een probe heeft een controle nodig
Waarom dit ertoe doet Een probe (een kleine lineaire classifier getraind op de interne vectoren van een model) is het meest gebruikte hulpmiddel in interpreteerbaarheid, en het meest verkeerd geïnterpreteerde. Hoge nauwkeurigheid kan betekenen dat het model de zaak berekende, of dat de probe dat deed.
Je hebt lineaire probes ontmoet in Module 18. Train hier een op de vectoren van de GPT op twee plaatsen: 'embed' (de embedding van het karakter plus de positie, voor elke laag) en 'resid1' (na de eerste blok). Drie vragen, elk een 0/1 label voor elk karakter:
'vowel': is dit teken een klinker?'control': is het een van b, c, g, n, r, s, t? Een groep die niets betekent, gekozen om net zo vaak voor te komen als de klinkers (28,7% van de tekens, tegenover 28,8%).'third letter': is het de derde letter van het woord, of later?
Voorspel eerst: als de klinkerprobe scores dicht bij 100% liggen, laat dat dan zien dat het model heeft geleerd wat een klinker is?
Woorden en symbolen in deze les
- interpretability
- uitzoeken wat een getraind netwerk van binnenuit berekent, en dit controleren
- probe
- een kleine lineaire classifier getraind om iets uit de interne vectoren van een model te lezen
my_guess naar "yes" of "no" zetten. Vul scores[kind][site] met probe(site, kind) voor de drie soorten en de twee locaties. Zet daarna computed op de ene soort waarvan de probe laat zien dat de laag iets heeft uitgewerkt (het is veel makkelijker na de block dan alleen vanuit de embedding).
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.