Desmistificação: um autoencoder esparso
Por que isso importa Se as features estiverem armazenadas em superposição, olhar para as unidades não vai encontrá-las. Um sparse autoencoder (Bricken et al. 2023, Cunningham et al. 2023) tenta desfazer isso: reconstruir cada vetor a partir de muito mais direções do que ele tem números, mas apenas algumas por vez.
Pegue os vetores de 64 números do GPT após o bloco 1, para 19,200 caracteres de texto da lição. Um autoencoder esparso com 256 features calcula f = relu(z We + be) e reconstrói z = f Wd. A perda é o erro de reconstrução mais l1 vezes o tamanho total de f, o que empurra a maioria das features para exatamente zero.
interp.train_sae(A, features=256, l1=...) treina um; sae.unexplained(A) é a parte da dispersão dos vetores que a reconstrução perde (0 é perfeito) e sae.features(A) dá f.
Prever primeiro: com um forte impulso (l1 = 0.3), o rebuild ainda explicará a maior parte do spread (não explicado abaixo de 0.2)?
Palavras e símbolos nesta lição
- superposition
- armazenar mais características do que existem números, como direções que raramente estão juntas
- sparse autoencoder
- uma camada larga treinada para reconstruir vetores a partir de algumas características ativas por vez
Defina my_guess como "yes" ou "no". Treine em l1 0.03 e 0.3 (600 steps de 128 vectors cada). Preencha unexplained[l1] nos vectors retidos A_new, e active[l1]: a média de features acima de zero por caractere retido.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.