Lehrplan Lektion 231 von 246 · Modul 22: Behauptungen beurteilen
Modul 22: Behauptungen beurteilen

Wie du einen Teil entfernst, ändert die Antwort.

Warum das wichtig ist "Das Entfernen dieses Teils erhöht den Verlust um X" klingt wie eine Tatsache über das Teil. Ein Teil davon ist eine Tatsache darüber, wie es entfernt wurde.

In Modul 21 hast du Teile des GPT entfernt, indem du deren Output auf Null gesetzt hast. Aber der Rest des Netzwerks hat während des Trainings nie eine Null dort gesehen: Null kann ein Input sein, den es noch nie getroffen hat, also misst der Schaden sowohl den Schock als auch den Informationsverlust. Eine sanftere Entfernung ersetzt den Output durch seinen durchschnitt über viele Inputs (mean ablation): Der Teil trägt nichts mehr über diesen Input, aber die nächste Schicht erhält immer noch einen Wert der üblichen Größe.

Messe beide für die vier Teile: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. Der Durchschnitt kommt aus cache[site].mean((0, 1)).

Vorhersage zuerst: für das MLP von Block 0, wird die Ablation weniger kosten als das Nullsetzen, oder etwa gleich viel?

Wörter und Symbole in dieser Lektion
bedeutet Ablation
Ersetzen der Ausgabe eines Teils durch seinen Durchschnitt anstatt durch Null
Du bist dran

Setze my_guess auf "less" oder "same". Fülle zero[site] und mean[site] mit dem Anstieg des loss. Setze most_overstated auf den Teil, wo das Zeroing den Effekt am meisten übertreibt.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.