Lehrplan Lektion 143 von 246 · Modul 13: Attention und Transformers
Modul 13: Attention und Transformers

Aufmerksamkeit behebt den Engpass

Warum das wichtig ist Attention wurde 2014 erfunden, um genau das Problem zu lösen, das du in Modul 11 gemessen hast: ein Encoder, der einen ganzen Satz in einen einzigen Vektor presst.

Im aufgezeichneten seq2seq-bottleneck Experiment betrachtet der Decoder des Attention Modells bei jedem Schritt alle versteckten Zustände des Encoders (seine Query ist der eigene Zustand des Decoders). Er hängt nicht mehr von einem finalen Vektor ab; er kann direkt auf die Ziffer zurückschauen, die er benötigt.

Predict: Bei einer Länge von 16, wo das einfache Modell etwa 59% der Ziffern richtig hatte, was erreicht das Attention-Modell?

Wörter und Symbole in dieser Lektion
abfrage, Schlüssel, Wert
was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
attention
softmax der query-key scores, verwendet um die Werte zu mitteln
Du bist dran

Setze my_guess auf eine Zahl zwischen 0 und 1: dein Tipp für die digit accuracy des attention models bei length 16. Fülle acc: (model, length) mit der mittleren digit accuracy der zwei seeds für beide models und alle vier lengths und gain_at_16.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.