Vuelve a poner un valor: parcheo de activaciones
Por qué importa El parcheo de activaciones (Meng et al. 2022, Wang et al. 2022) convierte "esta parte se alinea con la respuesta" en "esta parte lleva la respuesta", moviendo un valor de una ejecución a otra.
Dos entradas que se diferencian en un carácter:
- limpia: "the gradient of the los": el GPT le da al siguiente carácter "s" una probabilidad de 0.91.
- corrupta: "the gradient of the bos": 0.39.
Ejecuta la entrada corrupta, pero en un sitio y una posición, mete el vector de la ejecución limpia. Si la probabilidad de "s" vuelve de golpe a 0.91, ese vector llevaba lo que la "l" le decía al modelo. interp.patch(model, clean_ids, bad_ids, site, pos) hace el cambio y devuelve los logits; interp.next_prob(logits, answer, model) lee la probabilidad.
Pruébalo en 'resid0' (antes del bloque 0, así que solo los embeddings), 'resid1' (entre los bloques) y 'final', para las últimas cinco posiciones.
Predice primero: en 'resid1', ¿la "l" sigue estando en su propia posición, o en otro sitio?
Palabras y símbolos de esta lección
- parcheo de activaciones
- ejecutar una entrada con un valor tomado de la ejecución de otra entrada, para ver qué lleva ese valor
Pon en my_guess "own position" (su propia posición) o "somewhere else" (en otro sitio). Rellena restored[site] con una lista de cinco probabilidades, una por posición desde len(clean) - 5 hasta el final. Luego pon en where[site] el carácter de clean en la posición que la restaura.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.