Más características que sitio: la superposición
Por qué importa Si cada unidad significara una cosa, leer una red sería fácil. Normalmente no es así, y el modelo de juguete de Elhage et al. (2022) muestra por qué: una red puede guardar más características que números tiene, siempre que las características casi nunca estén activas a la vez.
El juguete: 5 características, cada una 0 la mayor parte del tiempo y, si no, un número entre 0 y 1. Una matriz W (2 por 5) las comprime en solo 2 números, h = W x, y el modelo las vuelve a leer como relu(WT h + b). La característica i pesa 0.9i en la pérdida (la característica 0 es la que más). La columna i de W es la dirección donde se guarda la característica i; una columna cerca de cero significa que la característica se soltó.
interp.superposition(sparsity=s) lo entrena (s = la probabilidad de que cada característica sea 0). interp.stored(W) da la lista de las características que conservó e interp.angles(W) los ángulos entre ellas.
Predice primero: cuando las características casi nunca están activas (dispersión 0.97), ¿cuántas de las 5 pueden conservar 2 números?
Palabras y símbolos de esta lección
- superposición
- guardar más características que números hay, como direcciones que casi nunca están activas a la vez
Pon en my_guess un número del 2 al 5. Entrena con dispersión 0, 0.7 y 0.97 (semilla 0) y rellena kept[s] con el número de características guardadas, y smallest_angle[s] con el menor ángulo entre dos características guardadas.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.