Mais recursos do que espaço: superposição
Por que isso importa Se cada unidade significasse uma coisa, ler uma rede seria fácil. Geralmente elas não significam, e o modelo de brinquedo de Elhage et al. (2022) mostra o porquê: uma rede pode armazenar mais características do que tem números, desde que as características raramente estejam juntas.
O brinquedo: 5 características, cada uma 0 na maioria das vezes e, caso contrário, um número entre 0 e 1. Uma matriz W (2 por 5) as comprime em apenas 2 números, h = W x, e o modelo as lê de volta como relu(WT h + b). A característica i importa 0.9i tanto na perda (característica 0 mais). A coluna i de W é a direção onde a característica i é armazenada; uma coluna perto de zero significa que a característica foi descartada.
interp.superposition(sparsity=s) treina isso (s = a chance de cada característica ser 0). interp.stored(W) lista as características que ele manteve e interp.angles(W) os ângulos entre elas.
Preveja primeiro: quando as features raramente estão ligadas (esparsidade 0.97), quantos dos 5 os 2 números podem manter?
Palavras e símbolos nesta lição
- superposition
- armazenar mais características do que existem números, como direções que raramente estão juntas
Defina my_guess como um número de 2 a 5. Treine com sparsidade 0, 0.7 e 0.97 (seed 0) e preencha kept[s] com o número de features armazenadas, e smallest_angle[s] com o menor ângulo entre duas features armazenadas.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.