Cómo quitas una parte cambia la respuesta
Por qué importa "Quitar esta parte sube la pérdida en X" suena a un hecho sobre la parte. En parte es un hecho sobre cómo se quitó.
En el Módulo 21 quitaste partes del GPT poniendo su salida a cero. Pero el resto de la red nunca vio un cero ahí durante el entrenamiento: el cero puede ser una entrada que nunca se ha encontrado, así que el daño mide el susto además de la pérdida de información. Una forma más suave de quitarla sustituye la salida por su media sobre muchas entradas (ablación por la media): la parte deja de llevar nada sobre esta entrada, pero la capa siguiente sigue recibiendo un valor del tamaño habitual.
Mide las dos para las cuatro partes: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. La media sale de cache[site].mean((0, 1)).
Predice primero: para el MLP del bloque 0, ¿la ablación por la media costará menos que poner a cero, o más o menos lo mismo?
Palabras y símbolos de esta lección
- ablación por la media
- sustituir la salida de una parte por su media en vez de por cero
Pon en my_guess "less" (menos) o "same" (lo mismo). Rellena zero[site] y mean[site] con la subida de la pérdida. Pon en most_overstated la parte en la que poner a cero exagera más el efecto.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.