Soek vir 'n induksiekop
Waarom dit saak maak Die induction head (Olsson et al. 2022) is die bekendste storie in interpreteerbaarheid: een kop vind die vorige kopie van die huidige token en fokus op die token daarna, sodat die model 'n herhaling kan voortsit. Dit is werklik in groot modelle. Die fout is om aan te neem dat 'n klein model op dieselfde manier kopieer omdat dit kopieer.
Die kursus het 'n 2-blok GPT opgelei om net te kopieer: elke ry is 'n willeke uitvoering van 4 tot 16 letters, herhaal om die 32 posisies te vul. Die eerste uitvoering kan nie voorspel word nie (verlies van ongeveer ln 26 = 3.26); daarna kan elke letter gekopie word. Die model het geleer om te kopieer: sy verlies op die herhalings is ongeveer 0.13 tot 0.15 (dit hang af van die voorbeeld).
Die handboekvoorspelling: sommige koppe gee die meeste aandag aan die letter na 'n vroeëre kopie van die huidige letter. Meet dit. Vir elke kop, die deel van aandag, gemiddeld oor die herhalingposisies, wat op posisies j land waar die letter voor j gelyk aan die huidige letter is. Vergelyk dit met uniforme aandag, wat gelyk oor alle vroeëre posisies versprei. Verwyder dan elke kop en meet die herhalingverlies.
Voorspel eerste: sal een kop meer as die helfte van sy aandag daar gee?
Waar die veld nou is Induksiekoppe is werklik: Olsson et al. (2022) het gevind dat hulle vorm in 'n skielike faseverandering in modelle wat op gewone teks opgelei is, insluitend twee-laag modelle met slegs aandag. Waarom nie hier nie? Hierdie model het MLPs en layer norm, opgelei kortliks op een sintetiese kopieertas met verskeie moontlike oplossings, en dit het nog een gevind. Dit is die punt van die les, en ook die grens daarvan: 'n speelding wat nie 'n gepubliseerde effek toon nie, is nie bewys teen dit nie. Resultate van hierdie kursus se klein modelle is metings van daardie modelle; by skaal sal sommige hou en sommige nie.
Woorde en simbole in hierdie les
- interpreteerbaarheid
- vind uit wat 'n getoë baar binne reken, en gaan dit nagaan
- patroon, effek, meganisme
- drie soorte bewys: gekyk en gesien; dit verander en die output het verander; dit verduidelik en die verduideliking het nuwe gevalle voorspel
- induksiekop
- a kop wat 'n vroeëre kopie van die huidige token vind en na die token daarna kyk
Stel my_guess in op "yes" of "no". Skryf induction_share(A, X, Ls): vir aandaggewigte A (B, t, t) van een kop, die gemiddelde oor rye b en herhaalde posisies i (van Ls[b] tot t - 1) van die aandag op posisies j ≤ i met X[b, j - 1] == X[b, i] (j ≥ 1). Vul share[(layer, head)] vir die 8 koppe en removed[(layer, head)] met die herhaalverlies wanneer daardie kop na nul gestel word. Stel needed in op die kop waarvan verwydering die meeste skade aanrig.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.