Aandag verhoed die knelpunt
Waarom dit saak maak Attention is in 2014 uitgevind om presies die probleem op te los wat jy in Module 11 gemeet het: 'n encoder wat 'n hele sin in een vektor druk.
In die opgeneemde seq2seq-bottleneck eksperiment, fokus die decoder van die attention model by elke stap op al die hidden states van die encoder (sy query is die decoder se eie state). Dit is nie meer afhanklik van een finale vektor nie; dit kan reguit terugkyk na die syfer wat dit nodig het.
Voorspel: by lengte 16, waar die eenvoudige model ongeveer 59% van die syfers korrek gekry het, wat kry die attention model?
Woorde en simbole in hierdie les
- query, sleutel, waarde
- waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
- aandag
- softmax van query-key-scores, gebruik om die waardes te gemiddelde
Stel my_guess op 'n getal tussen 0 en 1: jou raaiskoot vir die aandagmodel se syferakkuraatheid by lengte 16. Vul acc in: (model, length) na die gemiddelde syferakkuraatheid van die twee sade, vir albei modelle en al vier lengtes, en gain_at_16.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.