Uma sonda precisa de um controle
Por que isso importa Uma probe (um pequeno classificador linear treinado nos vetores internos de um modelo) é a ferramenta mais comum em interpretabilidade, e a mais interpretada erroneamente. Alta acurácia pode significar que o modelo calculou a coisa, ou que a probe o fez.
Você conheceu as linear probes no Módulo 18. Aqui, treine uma nos vetores do GPT em dois lugares: 'embed' (o embedding do caractere mais sua posição, antes de qualquer camada) e 'resid1' (após o primeiro bloco). Três perguntas, cada uma um rótulo 0/1 para cada caractere:
'vowel': este caractere é uma vogal?'control': é uma das b, c, g, n, r, s, t? Um agrupamento que não significa nada, escolhido para ser tão comum quanto as vogais (28.7% dos caracteres, contra 28.8%).'third letter': é a terceira letra da palavra dela, ou depois?
Preveja primeiro: se as pontuações do probe de vogais chegam perto de 100%, isso mostra que o modelo aprendeu o que é uma vogal?
Palavras e símbolos nesta lição
- interpretabilidade
- descobrir o que uma rede treinada computa internamente, e verificar isso
- probe
- um pequeno classificador linear treinado para ler algo dos vetores internos de um modelo
Defina my_guess como "yes" ou "no". Preencha scores[kind][site] com probe(site, kind) para os três tipos e os dois locais. Depois defina computed para o tipo cujo probe mostra algo que a camada resolveu (é muito mais fácil após o bloco do que apenas a partir do embedding).
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.