Lehrplan Lektion 219 von 246 · Modul 21: Ein Blick in ein Modell
Modul 21: Ein Blick in ein Modell

Eine Sonde braucht eine Kontrolle

Warum das wichtig ist Eine Probe (ein kleiner linearer Klassifikator, der auf den internen Vektoren eines Modells trainiert wurde) ist das häufigste Werkzeug in der Interpretierbarkeit und wird am meisten falsch interpretiert. Eine hohe Genauigkeit kann bedeuten, dass das Modell die Sache berechnet hat oder dass die Probe es getan hat.

Du hast lineare Sonden in Modul 18 kennengelernt. Trainiere hier eine auf den Vektoren der GPT an zwei Stellen: 'embed' (das Embedding des Zeichens plus seine Position, vor jeder Schicht) und 'resid1' (nach dem ersten Block). Drei Fragen, jede ein 0/1 Label für jedes Zeichen:

  • 'vowel': ist dieses Zeichen ein Vokal?
  • 'control': ist es eines von b, c, g, n, r, s, t? Eine Gruppierung, die nichts bedeutet, ausgewählt, um so häufig wie die Vokale zu sein (28,7 % der Zeichen, gegenüber 28,8 %).
  • 'third letter': ist es der dritte Buchstabe seines Wortes oder später?

Vorhersage zuerst: wenn die Vokal-Sonde Werte nahe 100% erreicht, zeigt das, dass das Modell gelernt hat, was ein Vokal ist?

Wörter und Symbole in dieser Lektion
interpretability
herausfinden, was ein trainiertes Netzwerk im Inneren berechnet, und es überprüfen
probe
ein kleiner linearer Klassifikator, der darauf trainiert wurde, etwas aus den internen Vektoren eines Modells zu lesen
Du bist dran

Setze my_guess auf "yes" oder "no". Fülle scores[kind][site] mit probe(site, kind) für die drei Arten und die zwei Standorte. Setze dann computed auf die eine Art, deren Sonde etwas zeigt, das die Schicht herausgearbeitet hat (es ist nach dem Block viel einfacher als nur aus dem Embedding).

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.