Was sich innen geändert hat: waves
Warum das wichtig ist Nanda et al. (2023) zeigten, dass Netzwerke, die modulare Addition verstehen, diese mit Wellen berechnen. Jede Zahl wird zu einem Punkt auf einigen Kreisen und das Addieren von Zahlen wird zum Addieren von Winkeln. Es ist einer der wenigen Fälle, in denen ein vollständiger Mechanismus gefunden und dann überprüft wurde.
Lies jede Embedding-Spalte als eine Liste von 23 Werten, einen pro Zahl von 0 bis 22, und teile sie in Wellen der Frequenz 1 bis 11 auf (eine Welle der Frequenz k geht k Mal von 0 bis 22 herum; dieser Split ist die Fourier-Transformation). interp.frequency_shares(emb) gibt den Anteil jeder Frequenz am Embedding an (sie summieren sich zu 1). Wenn das Modell wenige Wellen nutzt, halten wenige Frequenzen den Großteil davon; gleichmäßig verteilt würden die Top 3 genau 3/11 = 0.27 halten.
A Muster allein reicht nicht aus: baue das embedding nur aus einigen Frequenzen mit interp.keep_frequencies(emb, keep) neu auf und messe die test accuracy. Wenn die Top 3 der Mechanismus sind, sollte das Beibehalten nur dieser die meiste accuracy bewahren, und das Entfernen nur dieser sollte sie zerstören.
Wörter und Symbole in dieser Lektion
- muster, effekt, mechanismus
- drei Arten von Beweisen: angeschaut und gesehen; es geändert und der output hat sich geändert; es erklärt und die Erklärung hat neue Fälle vorhergesagt
- Fourier-Transformation
- Aufteilen einer Liste von Werten in Wellen verschiedener Frequenzen
Lade
g = interp.grok_model() (den aufgezeichneten Durchlauf mit weight decay 3, nach 40,000 steps). Setze top3 auf ihre drei größten Häufigkeiten, top3_share auf ihren Gesamtanteil und test_acc für drei embeddings: 'all', 'only top 3' und 'all but top 3'.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.