Baie koppe, dieselfde kosting
Waarom dit saak maak Een aandagpatroon per laag is beperkend: 'n posisie wil dalk na die vorige karakter kyk en, terselfdertyd, na die begin van die woord. Multi-head attention hardloop verskeie kleiner aandagpatrone langs mekaar.
Sien dit
Speel die animasi af. Verdeel die d kolomme van Q, K en V in H groepe van d / H. Elke groep (a head) doen sy eie aandag met sy eie patroon. Plak die H uitsette weer langs mekaar in d kolomme, dan meng hulle met nog een matriks Wo.
Die koste: dieselfde matrices as een groot kop, net in stukke gesny, so die parameter telling verander nie. Elke kop is nouer, so dit deel deur die vierkantswortel van d / H.
Woorde en simbole in hierdie les
- aandag
- softmax van query-key-telling, gebruik om die waardes te gemiddelde
- head
- one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
Skryf multi_head(X, Wq, Wk, Wv, Wo, H) (geen masker nie), gee die uitset en 'n lys van H aandagmatrices terug.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.