Lehrplan Lektion 108 von 250 · Neural-Net Intuition, LLMs & KI Capstone
Neural-Net Intuition, LLMs & KI Capstone

Ansehen: Attention Weights

Du hast gerade scaled dot-product attention implementiert. Hier ist, was diese Matrizen tatsächlich do. Attention lässt jedes Wort jedes Wort im Satz ansehen (einschließlich sich selbst), bewertet, wie viel jedes davon zählt, und baut sich selbst als weighted blend von ihnen neu auf.

Drücke Play. Beobachte das Wort sat über the cat sat: die Rohwerte werden zu softmax weights, die sich zu 1 aufsummieren, die dickste Linie zeigt auf das Wort, das am meisten zählt, und sat nimmt seinen Kontext auf, hauptsächlich von cat.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.