Kurrikulum Leson 143 van 246 · Module 13: Aandag en transformers
Module 13: Aandag en transformers

Aandag verhoed die knelpunt

Waarom dit saak maak Attention is in 2014 uitgevind om presies die probleem op te los wat jy in Module 11 gemeet het: 'n encoder wat 'n hele sin in een vektor druk.

In die opgeneemde seq2seq-bottleneck eksperiment, fokus die decoder van die attention model by elke stap op al die hidden states van die encoder (sy query is die decoder se eie state). Dit is nie meer afhanklik van een finale vektor nie; dit kan reguit terugkyk na die syfer wat dit nodig het.

Voorspel: by lengte 16, waar die eenvoudige model ongeveer 59% van die syfers korrek gekry het, wat kry die attention model?

Woorde en simbole in hierdie les
query, sleutel, waarde
waarna 'n posisie soek; waarna elke posisie moet ooreenstem; wat dit oorhandig
aandag
softmax van query-key-scores, gebruik om die waardes te gemiddelde
Jou beurt

Stel my_guess op 'n getal tussen 0 en 1: jou raaiskoot vir die aandagmodel se syferakkuraatheid by lengte 16. Vul acc in: (model, length) na die gemiddelde syferakkuraatheid van die twee sade, vir albei modelle en al vier lengtes, en gain_at_16.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.