'n Sond moet 'n beheer hê
Waarom dit saak maak 'n probe ( 'n klein lineêre klassifiseerder wat op 'n model se binne-vektore opgelei is) is die algemeenste hulpmiddel in interpreteerbaarheid, en die een wat die meeste verkeerd gelees word. Hoë akkuraatheid kan beteken die model het die ding bereken, of dat die probe dit gedoen het.
Jy het lineêre sondes in Module 18 ontmoet. Hier moet jy een op die GPT se vektore op twee plekke train: 'embed' (die karakter se embedding plus sy posisie, voor enige laag) en 'resid1' (na die eerste blok). Drie vrae, elk 'n 0/1 label vir elke karakter:
'vowel': is hierdie karakter 'n vokaal?'control': is dit een van b, c, g, n, r, s, t? 'n Groep wat niks beteken nie, gekies om so algemeen soos die vokale te wees (28.7% van karakters, teen 28.8%).'third letter': is dit die derde letter van sy woord, of later?
Voorspel eerste: as die vokaal-sonde naby 100% tel, wys dit dat die model geleer het wat 'n vokaal is?
Woorde en simbole in hierdie les
- interpreteerbaarheid
- vind uit wat 'n getoë baar binne reken, en dit nagaan
- probe
- 'n klein lineêre klassifiseerder wat opgelei is om iets uit 'n model se binne-vektore te lees
Stel my_guess in op "yes" of "no". Vul scores[kind][site] met probe(site, kind) vir die drie soorte en die twee plekke. Stel dan computed in op die een soort waarvan die probe iets wys wat die laag uitgewerk het (dit is baie makliker na die blok as vanaf die inbedding alleen).
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.