Conteúdo do curso Lição 227 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

O que mudou dentro: waves

Por que isso importa Nanda et al. (2023) mostraram que redes que entendem a adição modular acabam computando isso com ondas: cada número se torna um ponto em alguns círculos, e somar números se transforma em somar ângulos. É um dos poucos casos onde um mecanismo completo foi encontrado e depois verificado.

Leia cada coluna de embedding como uma lista de 23 valores, um por número de 0 a 22, e divida em ondas de frequência de 1 a 11 (uma onda de frequência k dá uma volta k vezes de 0 a 22; essa divisão é a transformada de Fourier). interp.frequency_shares(emb) dá a parte de cada frequência no embedding (elas somam 1). Se o modelo usa poucas ondas, poucas frequências detêm a maior parte; distribuídas uniformemente, as 3 principais deteriam 3/11 = 0.27.

O padrão

A sozinho não é suficiente: reconstrua o embedding apenas com algumas frequências com interp.keep_frequencies(emb, keep) e meça a acurácia de teste. Se o top 3 for o mecanismo, manter apenas eles deve manter a maior parte da acurácia, e remover apenas eles deve destruí-la.

Palavras e símbolos nesta lição
padrão, efeito, mecanismo
três tipos de evidência: olhou e viu; mudou e a saída mudou; explicou e a explicação previu novos casos
Fourier transform
dividindo uma lista de valores em ondas de frequências diferentes
Sua vez

Carregue g = interp.grok_model() (a execução gravada com weight decay 3, após 40,000 steps). Defina top3 para suas três maiores frequências, top3_share para a participação total delas, e test_acc para três embeddings: 'all', 'only top 3' e 'all but top 3'.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.