Suche nach einem Induktionskopf
Warum das wichtig ist Der induction head (Olsson et al. 2022) ist die bekannteste Geschichte in der Interpretierbarkeit: ein head findet die frühere Kopie des aktuellen tokens und achtet auf das token danach, damit das Modell eine Wiederholung fortsetzen kann. Er ist in großen Modellen real. Der Fehler ist anzunehmen, dass ein kleines Modell auf die gleiche Weise kopiert, weil es kopiert.
Der Kurs trainierte ein 2-block GPT nur zum Kopieren: jede Zeile ist ein zufälliger Durchlauf von 4 bis 16 Buchstaben, wiederholt um die 32 Positionen zu füllen. Der erste Durchlauf kann nicht vorhergesagt werden (loss etwa ln 26 = 3.26); danach kann jeder Buchstabe kopiert werden. Das Modell lernte zu kopieren: sein loss auf den Wiederholungen liegt bei etwa 0.13 bis 0.15 (es hängt von der Stichprobe ab).
Die Lehrbuchvorhersage: ein Kopf richtet den Großteil seiner Aufmerksamkeit auf den Buchstaben nach einer früheren Kopie des aktuellen Buchstabens. Messe es. Für jeden Kopf ist der Anteil der Aufmerksamkeit, gemittelt über die Wiederholungspositionen, der auf Positionen j fällt, wo der Buchstabe vor j dem aktuellen Buchstaben entspricht. Vergleiche dies mit der gleichmäßigen Aufmerksamkeit, die sich gleichmäßig über alle früheren Positionen verteilt. Entferne dann jeden Kopf und messe den Wiederholungsverlust.
Vorhersage zuerst: wird ein Kopf mehr als die Hälfte seiner Aufmerksamkeit dort investieren?
Wo das Feld jetzt ist Induktionsköpfe sind real: Olsson et al. (2022) fanden sie in einem plötzlichen Phasenwechsel in Modellen, die auf gewöhnlichem Text trainiert wurden, einschließlich zweischichtiger Modelle mit nur Attention. Warum nicht hier? Dieses Modell hat MLPs und layer norm, wurde kurz auf einer synthetischen Kopieraufgabe mit mehreren möglichen Lösungen trainiert, und es fand eine andere. Das ist der Punkt der Lektion, und auch ihre Grenze: ein Spielzeug, das keinen veröffentlichten Effekt zeigt, ist kein Beweis dagegen. Ergebnisse aus den kleinen Modellen dieses Kurses sind Messungen dieser Modelle; in großem Maßstab werden einige halten und einige nicht.
Wörter und Symbole in dieser Lektion
- interpretability
- herausfinden, was ein trainiertes Netzwerk im Inneren berechnet, und es überprüfen
- muster, effekt, mechanismus
- drei Arten von Beweisen: angeschaut und gesehen; es geändert und der output hat sich geändert; es erklärt und die Erklärung hat neue Fälle vorhergesagt
- induction head
- a Kopf, der eine frühere Kopie des aktuellen Tokens findet und auf das Token danach achtet
Setze my_guess auf "yes" oder "no". Schreibe induction_share(A, X, Ls): für die Attention-Gewichte A (B, t, t) eines Heads ist der Mittelwert über die Zeilen b und die wiederholten Positionen i (von Ls[b] bis t - 1) der Attention auf Positionen j ≤ i mit X[b, j - 1] == X[b, i] (j ≥ 1). Fülle share[(layer, head)] für die 8 Heads und removed[(layer, head)] mit dem Repeat-Loss, wenn dieser Head auf Null gesetzt wird. Setze needed auf den Head, dessen Entfernung am meisten schadet.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.