Waarop die koppe kyk
Waarom dit saak maak Aandaggewigte kan gelees word. Om te kyk wat getoënde koppe doen is die begin van interpreteerbaarheid: om 'n model vanuit sy binneste te verstaan, nie net sy uitsettes nie.
Die opgeneemde width-64 model het 2 lae van 4 koppe. Vir elke kop, meet hoeveel aandag, gemiddeld, 'n posisie gee aan die karakter net voor dit. As 'n kop sy aandag gelyk oor alles wat dit kan sien versprei, sou daardie getal ongeveer 0.10 oor 'n 32-karakter snippet wees.
Voorspel: watter laag se heads spesialiseer in "kyk na die vorige karakter"?
Woorde en simbole in hierdie les
- aandag
- softmax van query-key-scores, gebruik om die waardes te gemiddelde
- head
- one van H nouer aandag wat langs mekaar loop, elkeen met sy eie patroon
Stel my_guess in op 0 of 1. Skryf prev_share(A) vir een t by t aandagmatriks: die gemiddelde van A[i, i - 1] vir i van 1 tot t - 1. Vul share: (layer, head) met die gemiddelde van prev_share oor die 40 gehou-uit snipstukkies, deur attention_maps.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.