Temario Lección 223 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Más características que sitio: la superposición

Por qué importa Si cada unidad significara una cosa, leer una red sería fácil. Normalmente no es así, y el modelo de juguete de Elhage et al. (2022) muestra por qué: una red puede guardar más características que números tiene, siempre que las características casi nunca estén activas a la vez.

El juguete: 5 características, cada una 0 la mayor parte del tiempo y, si no, un número entre 0 y 1. Una matriz W (2 por 5) las comprime en solo 2 números, h = W x, y el modelo las vuelve a leer como relu(WT h + b). La característica i pesa 0.9i en la pérdida (la característica 0 es la que más). La columna i de W es la dirección donde se guarda la característica i; una columna cerca de cero significa que la característica se soltó.

interp.superposition(sparsity=s) lo entrena (s = la probabilidad de que cada característica sea 0). interp.stored(W) da la lista de las características que conservó e interp.angles(W) los ángulos entre ellas.

Predice primero: cuando las características casi nunca están activas (dispersión 0.97), ¿cuántas de las 5 pueden conservar 2 números?

Palabras y símbolos de esta lección
superposición
guardar más características que números hay, como direcciones que casi nunca están activas a la vez
Tu turno

Pon en my_guess un número del 2 al 5. Entrena con dispersión 0, 0.7 y 0.97 (semilla 0) y rellena kept[s] con el número de características guardadas, y smallest_angle[s] con el menor ángulo entre dos características guardadas.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.