Programme Leçon 219 sur 246 · Module 21 : Regarder à l'intérieur d'un modèle
Module 21 : Regarder à l'intérieur d'un modèle

Une sonde a besoin d'un contrôle

Pourquoi c'est important Une sonde (un petit classifieur linéaire entraîné sur les vecteurs intérieurs d'un modèle) est l'outil le plus courant de l'interprétabilité, et le plus surinterprété. Une haute justesse peut vouloir dire que le modèle a calculé la chose, ou que c'est la sonde qui l'a fait.

Tu as rencontré les sondes linéaires au module 18. Ici, entraînes-en une sur les vecteurs du GPT à deux endroits : 'embed' (l'embedding du caractère plus sa position, avant toute couche) et 'resid1' (après le premier bloc). Trois questions, chacune une étiquette 0/1 pour chaque caractère :

  • 'vowel' : ce caractère est-il une voyelle ?
  • 'control' : est-ce un parmi b, c, g, n, r, s, t ? Un regroupement qui ne veut rien dire, choisi pour être aussi courant que les voyelles (28.7 % des caractères, contre 28.8 %).
  • 'third letter' : est-ce la troisième lettre de son mot, ou plus loin ?

Prédis d'abord : si la sonde des voyelles obtient près de 100 %, est-ce que ça montre que le modèle a appris ce qu'est une voyelle ?

Mots et symboles de cette leçon
interprétabilité
découvrir ce qu'un réseau entraîné calcule à l'intérieur, et le vérifier
sonde
un petit classifieur linéaire entraîné à lire quelque chose dans les vecteurs intérieurs d'un modèle
À ton tour

Affecte à my_guess "yes" ou "no". Remplis scores[kind][site] avec probe(site, kind) pour les trois sortes et les deux endroits. Puis affecte à computed la seule sorte dont la sonde montre quelque chose que la couche a calculé (c'est bien plus facile après le bloc qu'à partir du seul embedding).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.