Worauf die Köpfe schauen
Warum das wichtig ist Attention weights können gelesen werden. Zu sehen, was trainierte heads tun, ist der Anfang von Interpretierbarkeit: ein Modell von seinen Innenseiten verstehen, nicht nur seine Ausgaben.
Das aufgezeichnete width-64 Modell hat 2 Schichten mit 4 Köpfen. Messe für jeden Kopf, wie viel Aufmerksamkeit eine Position im Durchschnitt dem Zeichen direkt davor gibt. Wenn ein Kopf seine Aufmerksamkeit gleichmäßig über alles verteilen würde, was er sehen kann, läge diese Zahl über ein 32-Zeichen-Snippet bei etwa 0.10.
Predict: Welche Layer-Heads spezialisieren sich auf "schau dir das vorherige Zeichen an"?
Wörter und Symbole in dieser Lektion
- attention
- softmax der query-key scores, verwendet um die Werte zu mitteln
- head
- one von H schmaleren Aufmerksamkeiten laufen nebeneinander, jede mit ihrem eigenen Muster
Setze my_guess auf 0 oder 1. Schreibe prev_share(A) für eine t mal t Attention-Matrix: den Mittelwert von A[i, i - 1] für i von 1 bis t - 1. Fülle share: (layer, head) mit dem Durchschnitt von prev_share über die 40 zurückgehaltenen Snippets, unter Verwendung von attention_maps.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.