Procurando por uma head de indução
Por que isso importa A induction head (Olsson et al. 2022) é a história mais conhecida em interpretabilidade: uma head encontra a cópia anterior do token atual e presta atenção ao token depois dele, para que o modelo possa continuar uma repetição. Isso é real em modelos grandes. O erro é assumir que um modelo pequeno copia do mesmo jeito porque ele copia.
O curso treinou um GPT de 2 blocos apenas para copiar: cada linha é uma execução aleatória de 4 a 16 letras, repetidas para preencher as 32 posições. A primeira execução não pode ser prevista (perda de cerca de ln 26 = 3.26); depois dela, cada letra pode ser copiada. O modelo aprendeu a copiar: sua perda nas repetições é de cerca de 0.13 a 0.15 (depende da amostra).
A previsão do livro: alguma cabeça coloca a maior parte de sua atenção em a letra após uma cópia anterior da letra atual. Meça isso. Para cada cabeça, a parte da atenção, calculada pela média sobre as posições de repetição, que cai nas posições j onde a letra antes de j é igual à letra atual. Compare com a atenção uniforme, que se espalha igualmente sobre todas as posições anteriores. Depois, remova cada cabeça e meça a perda de repetição.
Preveja primeiro: uma cabeça vai colocar mais da metade da sua atenção lá?
Onde o campo está agora Cabeças de indução são reais: Olsson et al. (2022) as encontraram se formando, em uma mudança de fase repentina, em modelos treinados em texto comum, incluindo modelos de duas camadas com apenas attention. Por que não aqui? Este modelo tem MLPs e layer norm, treinado brevemente em uma tarefa de cópia sintética com várias soluções possíveis, e ele encontrou outra. Esse é o ponto da lição, e também seu limite: um brinquedo que não mostra um efeito publicado não é evidência contra ele. Resultados dos pequenos modelos deste curso são medições desses modelos; em escala, alguns se manterão e outros não.
Palavras e símbolos nesta lição
- interpretabilidade
- descobrir o que uma rede treinada computa internamente, e verificar isso
- padrão, efeito, mecanismo
- três tipos de evidência: olhou e viu; mudou e a saída mudou; explicou e a explicação previu novos casos
- induction head
- a cabeça que encontra uma cópia anterior do token atual e presta atenção ao token depois dele
Defina my_guess como "yes" ou "no". Escreva induction_share(A, X, Ls): para pesos de atenção A (B, t, t) de uma cabeça, a média sobre as linhas b e posições repetidas i (de Ls[b] até t - 1) da atenção em posições j ≤ i com X[b, j - 1] == X[b, i] (j ≥ 1). Preencha share[(layer, head)] para as 8 cabeças e removed[(layer, head)] com a perda de repetição quando essa cabeça for definida como zero. Defina needed para a cabeça cuja remoção prejudica mais.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.