Temario Lección 231 de 246 · Módulo 22: Juzgar afirmaciones
Módulo 22: Juzgar afirmaciones

Cómo quitas una parte cambia la respuesta

Por qué importa "Quitar esta parte sube la pérdida en X" suena a un hecho sobre la parte. En parte es un hecho sobre cómo se quitó.

En el Módulo 21 quitaste partes del GPT poniendo su salida a cero. Pero el resto de la red nunca vio un cero ahí durante el entrenamiento: el cero puede ser una entrada que nunca se ha encontrado, así que el daño mide el susto además de la pérdida de información. Una forma más suave de quitarla sustituye la salida por su media sobre muchas entradas (ablación por la media): la parte deja de llevar nada sobre esta entrada, pero la capa siguiente sigue recibiendo un valor del tamaño habitual.

Mide las dos para las cuatro partes: 'attn_out0', 'mlp_out0', 'attn_out1', 'mlp_out1'. La media sale de cache[site].mean((0, 1)).

Predice primero: para el MLP del bloque 0, ¿la ablación por la media costará menos que poner a cero, o más o menos lo mismo?

Palabras y símbolos de esta lección
ablación por la media
sustituir la salida de una parte por su media en vez de por cero
Tu turno

Pon en my_guess "less" (menos) o "same" (lo mismo). Rellena zero[site] y mean[site] con la subida de la pérdida. Pon en most_overstated la parte en la que poner a cero exagera más el efecto.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.