O que mudou dentro: waves
Por que isso importa Nanda et al. (2023) mostraram que redes que entendem a adição modular acabam computando isso com ondas: cada número se torna um ponto em alguns círculos, e somar números se transforma em somar ângulos. É um dos poucos casos onde um mecanismo completo foi encontrado e depois verificado.
Leia cada coluna de embedding como uma lista de 23 valores, um por número de 0 a 22, e divida em ondas de frequência de 1 a 11 (uma onda de frequência k dá uma volta k vezes de 0 a 22; essa divisão é a transformada de Fourier). interp.frequency_shares(emb) dá a parte de cada frequência no embedding (elas somam 1). Se o modelo usa poucas ondas, poucas frequências detêm a maior parte; distribuídas uniformemente, as 3 principais deteriam 3/11 = 0.27.
A sozinho não é suficiente: reconstrua o embedding apenas com algumas frequências com interp.keep_frequencies(emb, keep) e meça a acurácia de teste. Se o top 3 for o mecanismo, manter apenas eles deve manter a maior parte da acurácia, e remover apenas eles deve destruí-la.
Palavras e símbolos nesta lição
- padrão, efeito, mecanismo
- três tipos de evidência: olhou e viu; mudou e a saída mudou; explicou e a explicação previu novos casos
- Fourier transform
- dividindo uma lista de valores em ondas de frequências diferentes
Carregue g = interp.grok_model() (a execução gravada com weight decay 3, após 40,000 steps). Defina top3 para suas três maiores frequências, top3_share para a participação total delas, e test_acc para três embeddings: 'all', 'only top 3' e 'all but top 3'.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.