Kurrikulum Leson 147 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Baie koppe, dieselfde kosting

Waarom dit saak maak Een aandagpatroon per laag is beperkend: 'n posisie wil dalk na die vorige karakter kyk en, terselfdertyd, na die begin van die woord. Multi-head attention hardloop verskeie kleiner aandagpatrone langs mekaar.

Sien dit

Speel die animasi af. Verdeel die d kolomme van Q, K en V in H groepe van d / H. Elke groep (a head) doen sy eie aandag met sy eie patroon. Plak die H uitsette weer langs mekaar in d kolomme, dan meng hulle met nog een matriks Wo.

Die koste: dieselfde matrices as een groot kop, net in stukke gesny, so die parameter telling verander nie. Elke kop is nouer, so dit deel deur die vierkantswortel van d / H.

Woorde en simbole in hierdie les
aandag
softmax van query-key-telling, gebruik om die waardes te gemiddelde
head
one van H nouer aandag wat langs mekaar loop, elk met sy eie patroon
Jou beurt

Skryf multi_head(X, Wq, Wk, Wv, Wo, H) (geen masker nie), gee die uitset en 'n lys van H aandagmatrices terug.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.