Conteúdo do curso Lição 221 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

Quais partes importam

Por que isso importa Antes de explicar uma parte, descubra se ela faz algo. Remover partes (ablation) é o efeito mais barato que você pode medir, e isso muda para onde você olha.

Cada bloco do GPT tem uma parte de atenção (escreve 'attn_out0', 'attn_out1') e um MLP (escreve 'mlp_out0', 'mlp_out1'). Remova um de cada vez (defina a saída dele como zero) e meça o aumento na loss de retenção. Depois, remova cada uma das quatro heads do bloco 1 uma de cada vez com interp.head_effects(model, X, Y, 1).

Um risco: se duas cabeças fazem o mesmo trabalho, remover qualquer uma sozinha mostra quase nada. Então também compare os quatro aumentos de cabeça única, somados, com a remoção de toda a atenção do bloco 1 de uma vez. Se removê-las juntas prejudica muito mais do que a soma, elas se apoiam mutuamente.

Palavras e símbolos nesta lição
padrão, efeito, mecanismo
três tipos de evidência: olhou e viu; mudou e a saída mudou; explicou e a explicação previu novos casos
ablation
removendo uma parte (definindo a saída dela como zero) e medindo o que muda
Sua vez

Preencha rise para as quatro partes, heads1 com as quatro subidas de cabeça única, depois defina backup como True se remover toda a atenção do bloco 1 custar mais que o dobro da soma de suas cabeças sozinhas, e biggest para a parte cuja remoção custa mais.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.