Aufmerksamkeit behebt den Engpass
Warum das wichtig ist Attention wurde 2014 erfunden, um genau das Problem zu lösen, das du in Modul 11 gemessen hast: ein Encoder, der einen ganzen Satz in einen einzigen Vektor presst.
Im aufgezeichneten seq2seq-bottleneck Experiment betrachtet der Decoder des Attention Modells bei jedem Schritt alle versteckten Zustände des Encoders (seine Query ist der eigene Zustand des Decoders). Er hängt nicht mehr von einem finalen Vektor ab; er kann direkt auf die Ziffer zurückschauen, die er benötigt.
Predict: Bei einer Länge von 16, wo das einfache Modell etwa 59% der Ziffern richtig hatte, was erreicht das Attention-Modell?
Wörter und Symbole in dieser Lektion
- abfrage, Schlüssel, Wert
- was eine Position sucht; was jede Position zum Abgleichen anbietet; was sie übergibt
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
Setze my_guess auf eine Zahl zwischen 0 und 1: dein Tipp für die digit accuracy des attention models bei length 16. Fülle acc: (model, length) mit der mittleren digit accuracy der zwei seeds für beide models und alle vier lengths und gain_at_16.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.