Como você remove uma parte muda a resposta
Por que isso importa "Remover esta parte aumenta a perda em X" parece um fato sobre a parte. Parte disso é um fato sobre como ela foi removida.
No Módulo 21 você removeu partes do GPT definindo a saída delas como zero. Mas o resto da rede nunca viu um zero ali no treinamento: zero pode ser uma entrada que ela nunca encontrou, então o dano mede o choque além da perda de informação. Uma remoção mais suave substitui a saída pela sua média sobre muitas entradas (mean ablation): a parte para de carregar qualquer coisa sobre esta entrada, mas a próxima camada ainda recebe um valor do tamanho usual.
Meça ambos para as quatro partes: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. A média vem de cache[site].mean((0, 1)).
Preveja primeiro: para a MLP do bloco 0, a ablação custará menos que zerar, ou mais ou menos o mesmo?
Palavras e símbolos nesta lição
- significa ablação
- substituindo a saída de uma parte pela sua média em vez de zero
Defina my_guess como "less" ou "same". Preencha zero[site] e mean[site] com o aumento na loss. Defina most_overstated para a parte onde o zeroing exagera o efeito mais.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.