Lehrplan Lektion 221 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Welche Teile sind wichtig

Warum das wichtig ist Bevor du einen Teil erklärst, finde heraus, ob er etwas bewirkt. Das Entfernen von Teilen (ablation) ist der günstigste Effekt, den du messen kannst, und es verändert, wohin du schaust.

Jeder Block des GPT hat einen Attention-Teil (schreibt 'attn_out0', 'attn_out1') und ein MLP (schreibt 'mlp_out0', 'mlp_out1'). Entferne jeden nacheinander (setze seinen Output auf Null) und messe den Anstieg des held-out loss. Entferne dann jeden der vier Heads von Block 1 nacheinander mit interp.head_effects(model, X, Y, 1).

Ein Risiko: wenn zwei Köpfe denselben Job machen, zeigt das Entfernen eines allein fast nichts. Vergleiche also auch die vier Einzelkopf-Anstiege, zusammengezählt, mit dem gleichzeitigen Entfernen der gesamten Attention von Block 1. Wenn das gemeinsame Entfernen viel mehr schadet als die Summe, unterstützen sie sich gegenseitig.

Wörter und Symbole in dieser Lektion
muster, effekt, mechanismus
drei Arten von Beweisen: angeschaut und gesehen; es geändert und der output hat sich geändert; es erklärt und die Erklärung hat neue Fälle vorhergesagt
ablation
einen Teil entfernen (seinen Output auf Null setzen) und messen, was sich ändert
Du bist dran

Fülle rise für die vier Teile, heads1 mit den vier Einzelkopf-Anstiegen, dann setze backup auf True, wenn das Entfernen der gesamten Aufmerksamkeit von Block 1 mehr als das Doppelte der Summe seiner Köpfe allein kostet, und biggest auf den Teil, dessen Entfernung am meisten kostet.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.