Conteúdo do curso Lição 231 de 246 · Módulo 22: Julgando afirmações
Módulo 22: Julgando afirmações

Como você remove uma parte muda a resposta

Por que isso importa "Remover esta parte aumenta a perda em X" parece um fato sobre a parte. Parte disso é um fato sobre como ela foi removida.

No Módulo 21 você removeu partes do GPT definindo a saída delas como zero. Mas o resto da rede nunca viu um zero ali no treinamento: zero pode ser uma entrada que ela nunca encontrou, então o dano mede o choque além da perda de informação. Uma remoção mais suave substitui a saída pela sua média sobre muitas entradas (mean ablation): a parte para de carregar qualquer coisa sobre esta entrada, mas a próxima camada ainda recebe um valor do tamanho usual.

Meça ambos para as quatro partes: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. A média vem de cache[site].mean((0, 1)).

Preveja primeiro: para a MLP do bloco 0, a ablação custará menos que zerar, ou mais ou menos o mesmo?

Palavras e símbolos nesta lição
significa ablação
substituindo a saída de uma parte pela sua média em vez de zero
Sua vez

Defina my_guess como "less" ou "same". Preencha zero[site] e mean[site] com o aumento na loss. Defina most_overstated para a parte onde o zeroing exagera o efeito mais.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.