Conteúdo do curso Lição 219 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

Uma sonda precisa de um controle

Por que isso importa Uma probe (um pequeno classificador linear treinado nos vetores internos de um modelo) é a ferramenta mais comum em interpretabilidade, e a mais interpretada erroneamente. Alta acurácia pode significar que o modelo calculou a coisa, ou que a probe o fez.

Você conheceu as linear probes no Módulo 18. Aqui, treine uma nos vetores do GPT em dois lugares: 'embed' (o embedding do caractere mais sua posição, antes de qualquer camada) e 'resid1' (após o primeiro bloco). Três perguntas, cada uma um rótulo 0/1 para cada caractere:

  • 'vowel': este caractere é uma vogal?
  • 'control': é uma das b, c, g, n, r, s, t? Um agrupamento que não significa nada, escolhido para ser tão comum quanto as vogais (28.7% dos caracteres, contra 28.8%).
  • 'third letter': é a terceira letra da palavra dela, ou depois?

Preveja primeiro: se as pontuações do probe de vogais chegam perto de 100%, isso mostra que o modelo aprendeu o que é uma vogal?

Palavras e símbolos nesta lição
interpretabilidade
descobrir o que uma rede treinada computa internamente, e verificar isso
probe
um pequeno classificador linear treinado para ler algo dos vetores internos de um modelo
Sua vez

Defina my_guess como "yes" ou "no". Preencha scores[kind][site] com probe(site, kind) para os três tipos e os dois locais. Depois defina computed para o tipo cujo probe mostra algo que a camada resolveu (é muito mais fácil após o bloco do que apenas a partir do embedding).

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.