Lehrplan Lektion 222 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Suche nach einem Induktionskopf

Warum das wichtig ist Der induction head (Olsson et al. 2022) ist die bekannteste Geschichte in der Interpretierbarkeit: ein head findet die frühere Kopie des aktuellen tokens und achtet auf das token danach, damit das Modell eine Wiederholung fortsetzen kann. Er ist in großen Modellen real. Der Fehler ist anzunehmen, dass ein kleines Modell auf die gleiche Weise kopiert, weil es kopiert.

Der Kurs trainierte ein 2-block GPT nur zum Kopieren: jede Zeile ist ein zufälliger Durchlauf von 4 bis 16 Buchstaben, wiederholt um die 32 Positionen zu füllen. Der erste Durchlauf kann nicht vorhergesagt werden (loss etwa ln 26 = 3.26); danach kann jeder Buchstabe kopiert werden. Das Modell lernte zu kopieren: sein loss auf den Wiederholungen liegt bei etwa 0.13 bis 0.15 (es hängt von der Stichprobe ab).

Die Lehrbuchvorhersage: ein Kopf richtet den Großteil seiner Aufmerksamkeit auf den Buchstaben nach einer früheren Kopie des aktuellen Buchstabens. Messe es. Für jeden Kopf ist der Anteil der Aufmerksamkeit, gemittelt über die Wiederholungspositionen, der auf Positionen j fällt, wo der Buchstabe vor j dem aktuellen Buchstaben entspricht. Vergleiche dies mit der gleichmäßigen Aufmerksamkeit, die sich gleichmäßig über alle früheren Positionen verteilt. Entferne dann jeden Kopf und messe den Wiederholungsverlust.

Vorhersage zuerst: wird ein Kopf mehr als die Hälfte seiner Aufmerksamkeit dort investieren?

Wo das Feld jetzt ist Induktionsköpfe sind real: Olsson et al. (2022) fanden sie in einem plötzlichen Phasenwechsel in Modellen, die auf gewöhnlichem Text trainiert wurden, einschließlich zweischichtiger Modelle mit nur Attention. Warum nicht hier? Dieses Modell hat MLPs und layer norm, wurde kurz auf einer synthetischen Kopieraufgabe mit mehreren möglichen Lösungen trainiert, und es fand eine andere. Das ist der Punkt der Lektion, und auch ihre Grenze: ein Spielzeug, das keinen veröffentlichten Effekt zeigt, ist kein Beweis dagegen. Ergebnisse aus den kleinen Modellen dieses Kurses sind Messungen dieser Modelle; in großem Maßstab werden einige halten und einige nicht.

Wörter und Symbole in dieser Lektion
interpretability
herausfinden, was ein trainiertes Netzwerk im Inneren berechnet, und es überprüfen
muster, effekt, mechanismus
drei Arten von Beweisen: angeschaut und gesehen; es geändert und der output hat sich geändert; es erklärt und die Erklärung hat neue Fälle vorhergesagt
induction head
a Kopf, der eine frühere Kopie des aktuellen Tokens findet und auf das Token danach achtet
Du bist dran

Setze my_guess auf "yes" oder "no". Schreibe induction_share(A, X, Ls): für die Attention-Gewichte A (B, t, t) eines Heads ist der Mittelwert über die Zeilen b und die wiederholten Positionen i (von Ls[b] bis t - 1) der Attention auf Positionen j ≤ i mit X[b, j - 1] == X[b, i] (j ≥ 1). Fülle share[(layer, head)] für die 8 Heads und removed[(layer, head)] mit dem Repeat-Loss, wenn dieser Head auf Null gesetzt wird. Setze needed auf den Head, dessen Entfernung am meisten schadet.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.