Kurrikulum Leson 155 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Waarop die koppe kyk

Waarom dit saak maak Aandaggewigte kan gelees word. Om te kyk wat getoënde koppe doen is die begin van interpreteerbaarheid: om 'n model vanuit sy binneste te verstaan, nie net sy uitsettes nie.

Die opgeneemde width-64 model het 2 lae van 4 koppe. Vir elke kop, meet hoeveel aandag, gemiddeld, 'n posisie gee aan die karakter net voor dit. As 'n kop sy aandag gelyk oor alles wat dit kan sien versprei, sou daardie getal ongeveer 0.10 oor 'n 32-karakter snippet wees.

Voorspel: watter laag se heads spesialiseer in "kyk na die vorige karakter"?

Woorde en simbole in hierdie les
aandag
softmax van query-key-scores, gebruik om die waardes te gemiddelde
head
one van H nouer aandag wat langs mekaar loop, elkeen met sy eie patroon
Jou beurt

Stel my_guess in op 0 of 1. Skryf prev_share(A) vir een t by t aandagmatriks: die gemiddelde van A[i, i - 1] vir i van 1 tot t - 1. Vul share: (layer, head) met die gemiddelde van prev_share oor die 40 gehou-uit snipstukkies, deur attention_maps.

te gebruik.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.