Conteúdo do curso Lição 223 de 246 · Módulo 21: Olhando dentro de um modelo
Módulo 21: Olhando dentro de um modelo

Mais recursos do que espaço: superposição

Por que isso importa Se cada unidade significasse uma coisa, ler uma rede seria fácil. Geralmente elas não significam, e o modelo de brinquedo de Elhage et al. (2022) mostra o porquê: uma rede pode armazenar mais características do que tem números, desde que as características raramente estejam juntas.

O brinquedo: 5 características, cada uma 0 na maioria das vezes e, caso contrário, um número entre 0 e 1. Uma matriz W (2 por 5) as comprime em apenas 2 números, h = W x, e o modelo as lê de volta como relu(WT h + b). A característica i importa 0.9i tanto na perda (característica 0 mais). A coluna i de W é a direção onde a característica i é armazenada; uma coluna perto de zero significa que a característica foi descartada.

interp.superposition(sparsity=s) treina isso (s = a chance de cada característica ser 0). interp.stored(W) lista as características que ele manteve e interp.angles(W) os ângulos entre elas.

Preveja primeiro: quando as features raramente estão ligadas (esparsidade 0.97), quantos dos 5 os 2 números podem manter?

Palavras e símbolos nesta lição
superposition
armazenar mais características do que existem números, como direções que raramente estão juntas
Sua vez

Defina my_guess como um número de 2 a 5. Treine com sparsidade 0, 0.7 e 0.97 (seed 0) e preencha kept[s] com o número de features armazenadas, e smallest_angle[s] com o menor ângulo entre duas features armazenadas.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.