Temario Lección 219 de 246 · Módulo 21: Mirar dentro de un modelo
Módulo 21: Mirar dentro de un modelo

Una sonda necesita un control

Por qué importa Una sonda (un pequeño clasificador lineal entrenado con los vectores internos de un modelo) es la herramienta más común de la interpretabilidad, y la más sobreinterpretada. Una exactitud alta puede significar que el modelo calculó la cosa, o que la calculó la sonda.

Conociste las sondas lineales en el Módulo 18. Aquí, entrena una con los vectores del GPT en dos sitios: 'embed' (el embedding del carácter más su posición, antes de cualquier capa) y 'resid1' (después del primer bloque). Tres preguntas, cada una una etiqueta 0/1 para cada carácter:

  • 'vowel': ¿es este carácter una vocal?
  • 'control': ¿es uno de b, c, g, n, r, s, t? Una agrupación que no significa nada, elegida para ser tan común como las vocales (el 28.7% de los caracteres, frente al 28.8%).
  • 'third letter': ¿es la tercera letra de su palabra, o una posterior?

Predice primero: si la sonda de vocales puntúa cerca del 100%, ¿demuestra eso que el modelo ha aprendido qué es una vocal?

Palabras y símbolos de esta lección
interpretabilidad
averiguar qué calcula por dentro una red entrenada, y comprobarlo
sonda
un pequeño clasificador lineal entrenado para leer algo de los vectores internos de un modelo
Tu turno

Pon en my_guess "yes" (sí) o "no". Rellena scores[kind][site] con probe(site, kind) para los tres tipos y los dos sitios. Luego pon en computed el único tipo cuya sonda muestra algo que la capa calculó (es mucho más fácil después del bloque que solo a partir del embedding).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.