Coloque um valor de volta: activation patching
Por que isso importa Activation patching (Meng et al. 2022, Wang et al. 2022) transforma "esta parte se alinha com a resposta" em "esta parte carrega a resposta", movendo um valor de uma execução para outra.
Dois inputs que diferem em um caractere:
- clean: "o gradiente do los": o GPT dá ao próximo caractere "s" uma probabilidade de 0.91.
- corrupted: "o gradiente do bos": 0.39.
Execute a entrada corrompida, mas em um lugar e uma posição, troque pelo vetor da execução limpa. Se a probabilidade de "s" voltar para 0.91, aquele vetor estava carregando o que o "l" disse ao modelo. interp.patch(model, clean_ids, bad_ids, site, pos) faz a troca e retorna os logits; interp.next_prob(logits, answer, model) lê a probabilidade.
Tente em 'resid0' (antes do bloco 0, então apenas os embeddings), 'resid1' (entre os blocos) e 'final', para as últimas cinco posições.
Preveja primeiro: em 'resid1', o "l" ainda é carregado em sua própria posição, ou em outro lugar?
Palavras e símbolos nesta lição
- patching de ativação
- executando uma entrada com um valor vindo da execução de outra entrada, para ver o que esse valor carrega
Defina my_guess como "own position" ou "somewhere else". Preencha restored[site] com uma list of five probabilities, uma por posição de len(clean) - 5 até o fim. Depois defina where[site] como o character de clean na posição que o restaura.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.