Qué partes importan
Por qué importa Antes de explicar una parte, averigua si hace algo. Quitar partes (ablación) es el efecto más barato que puedes medir, y cambia dónde miras.
Cada bloque del GPT tiene una parte de atención (escribe 'attn_out0', 'attn_out1') y un MLP (escribe 'mlp_out0', 'mlp_out1'). Quita una cada vez (pon su salida a cero) y mide la subida de la pérdida en datos reservados. Luego quita cada una de las cuatro cabezas del bloque 1, una cada vez, con interp.head_effects(model, X, Y, 1).
Un riesgo: si dos cabezas hacen el mismo trabajo, quitar cualquiera de ellas sola no muestra casi nada. Así que compara también las cuatro subidas de una sola cabeza, sumadas, con quitar toda la atención del bloque 1 de una vez. Si quitarlas juntas hace mucho más daño que la suma, se respaldan entre ellas.
Palabras y símbolos de esta lección
- patrón, efecto, mecanismo
- tres tipos de prueba: miraste y viste; lo cambiaste y la salida cambió; lo explicaste y la explicación predijo casos nuevos
- ablación
- quitar una parte (poner su salida a cero) y medir qué cambia
Rellena rise para las cuatro partes, heads1 con las cuatro subidas de una sola cabeza, y luego pon backup a True si quitar toda la atención del bloque 1 cuesta más del doble de la suma de sus cabezas por separado, y en biggest la parte cuya eliminación cuesta más.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.