Conteúdo do curso Lição 220 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

Coloque um valor de volta: activation patching

Por que isso importa Activation patching (Meng et al. 2022, Wang et al. 2022) transforma "esta parte se alinha com a resposta" em "esta parte carrega a resposta", movendo um valor de uma execução para outra.

Dois inputs que diferem em um caractere:

  • clean: "o gradiente do los": o GPT dá ao próximo caractere "s" uma probabilidade de 0.91.
  • corrupted: "o gradiente do bos": 0.39.

Execute a entrada corrompida, mas em um lugar e uma posição, troque pelo vetor da execução limpa. Se a probabilidade de "s" voltar para 0.91, aquele vetor estava carregando o que o "l" disse ao modelo. interp.patch(model, clean_ids, bad_ids, site, pos) faz a troca e retorna os logits; interp.next_prob(logits, answer, model) lê a probabilidade.

Tente em 'resid0' (antes do bloco 0, então apenas os embeddings), 'resid1' (entre os blocos) e 'final', para as últimas cinco posições.

Preveja primeiro: em 'resid1', o "l" ainda é carregado em sua própria posição, ou em outro lugar?

Palavras e símbolos nesta lição
patching de ativação
executando uma entrada com um valor vindo da execução de outra entrada, para ver o que esse valor carrega
Sua vez

Defina my_guess como "own position" ou "somewhere else". Preencha restored[site] com uma list of five probabilities, uma por posição de len(clean) - 5 até o fim. Depois defina where[site] como o character de clean na posição que o restaura.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.