Die kausale Maske: kein Schauen
Warum das wichtig ist Ein Modell, das das nächste Zeichen vorhersagen soll, darf das nächste Zeichen nicht sehen. Ohne Maske kann es die Antwort einfach abschreiben, im Training großartig aussehen und dann beim Generieren versagen, weil es beim Generieren die Zukunft noch nicht gibt.
Sieh es dir an
Spiel die Animation ab. Position i darf nur auf die Positionen 0 bis i achten. Vor dem Softmax wird jede Punktzahl oberhalb der Diagonale auf minus unendlich gesetzt, sodass ihr Gewicht genau 0 wird. Die Gewichte bilden dann ein unteres Dreieck.
Der Test auf ein Leck ist direkt: Ändere ein Zeichen an Position j, und nichts, was das Modell für Positionen vor j berechnet, darf sich ändern.
Als der Kurs ein GPT der Breite 32 für 1.200 Schritte ohne Maske trainierte, fiel sein Trainingsverlust auf 0.10, gegen 1.51 mit Maske: Es hatte gelernt, die Antwort fast perfekt von der nächsten Position abzuschreiben. Ehrlich gemessen, auf ungesehenem Text und ohne es vorausschauen zu lassen, lag sein Verlust bei 8.6 gegen 2.3. Die niedrigere Zahl war eine Lüge: Das Modell war viel schlechter. (Am Anfang, bei 400 Schritten, sahen die beiden Läufe noch ähnlich aus, 2.28 gegen 2.24. Das Abschreiben zu entdecken dauert eine Weile, und dann übernimmt es.)
Wörter und Symbole in dieser Lektion
- Attention
- Softmax der Query-Key-Punktzahlen, benutzt, um die Values zu mitteln
- kausale Maske
- Punktzahlen oberhalb der Diagonale auf minus unendlich gesetzt: keine Position sieht die Zukunft
- Head
- eine von H schmaleren Attentions, die nebeneinander laufen, jede mit ihrem eigenen Muster
Schreibe causal_attention(X, Wq, Wk, Wv) wie Lektion 4 aber maskiert. Dann leaks(f): gib True zurück, wenn das Ändern der letzten Zeile eines zufälligen X eine frühere Zeile der Ausgabe von f ändert. Hier ist f jede Attention-Funktion, die wie deine aufgerufen wird, f(X, Wq, Wk, Wv), und gibt (output, weights) zurück; erstelle zufälliges X und Gewichte innerhalb von leaks.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.