Temario Lección 220 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Vuelve a poner un valor: parcheo de activaciones

Por qué importa El parcheo de activaciones (Meng et al. 2022, Wang et al. 2022) convierte "esta parte se alinea con la respuesta" en "esta parte lleva la respuesta", moviendo un valor de una ejecución a otra.

Dos entradas que se diferencian en un carácter:

  • limpia: "the gradient of the los": el GPT le da al siguiente carácter "s" una probabilidad de 0.91.
  • corrupta: "the gradient of the bos": 0.39.

Ejecuta la entrada corrupta, pero en un sitio y una posición, mete el vector de la ejecución limpia. Si la probabilidad de "s" vuelve de golpe a 0.91, ese vector llevaba lo que la "l" le decía al modelo. interp.patch(model, clean_ids, bad_ids, site, pos) hace el cambio y devuelve los logits; interp.next_prob(logits, answer, model) lee la probabilidad.

Pruébalo en 'resid0' (antes del bloque 0, así que solo los embeddings), 'resid1' (entre los bloques) y 'final', para las últimas cinco posiciones.

Predice primero: en 'resid1', ¿la "l" sigue estando en su propia posición, o en otro sitio?

Palabras y símbolos de esta lección
parcheo de activaciones
ejecutar una entrada con un valor tomado de la ejecución de otra entrada, para ver qué lleva ese valor
Tu turno

Pon en my_guess "own position" (su propia posición) o "somewhere else" (en otro sitio). Rellena restored[site] con una lista de cinco probabilidades, una por posición desde len(clean) - 5 hasta el final. Luego pon en where[site] el carácter de clean en la posición que la restaura.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.