Viele Köpfe, gleiche Kosten
Warum das wichtig ist Ein Attention-Muster pro Layer ist einschränkend: eine Position möchte vielleicht das vorherige Zeichen und gleichzeitig den Anfang des Wortes betrachten. Multi-head attention führt mehrere kleinere Attentions nebeneinander aus.
Sieh es dir an
Spiele die Animation ab. Teile die d Spalten von Q, K und V in H Gruppen von d / H auf. Jede Gruppe (a head) führt ihre eigene attention mit ihrem eigenen Muster aus. Füge die H Ausgaben wieder nebeneinander zu d Spalten zusammen, dann mische sie mit einer weiteren Matrix Wo.
Die Kosten: dieselben Matrizen wie ein großer Kopf, nur in Stücke geschnitten, sodass sich die Anzahl der Parameter nicht ändert. Jeder Kopf ist schmaler, also teilt er durch die Quadratwurzel von d / H.
Wörter und Symbole in dieser Lektion
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
Schreibe multi_head(X, Wq, Wk, Wv, Wo, H) (keine Maske), gib die Ausgabe und eine Liste von H Attention-Matrizen zurück.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.