Temario Lección 139 de 246 · Módulo 12: Palabras como números (embeddings)
Módulo 12: Palabras como números (embeddings)

Los vectores copian sus datos, sesgos incluidos

Por qué importa Los embeddings aprenden cualquier patrón que contenga el texto, incluidos los que nadie quiere. Los vectores de palabras entrenados con noticias reales ponen algunas profesiones más cerca de "she" (ella) y otras más cerca de "he" (él). Puedes medirlo, y deberías.

Crea una dirección de género a partir de parejas que solo se diferencian en el género: queen menos king, woman menos man, princess menos prince, girl menos boy, sumadas y escaladas a longitud 1. La posición de una palabra a lo largo de ella es su vector (unitario) multiplicado escalarmente por la dirección: positiva se inclina hacia "she", negativa hacia "he".

El mundo de juguete puede añadir un sesgo: con sesgo 0.4, las frases de nurse (enfermera) dicen "she" el 90% de las veces y las de engineer (ingeniero) dicen "he" el 90% de las veces. Doctor y teacher (docente) se quedan al 50:50. No cambia nada más.

Quitarlo, y la trampa

Puedes restar la componente de cada profesión a lo largo de la dirección, lo que pone su posición exactamente en 0. En este mundo de juguete eso funciona casi por completo: medido después de quitarlo, nurse y engineer quedan más o menos igual de cerca de "she" y de "he" (cosenos de 0.114 y 0.118 en un sentido o en otro). Eso es porque aquí el sesgo vive en una palabra, el pronombre. Con vectores de palabras entrenados con texto real, los investigadores encontraron lo contrario: el sesgo está repartido entre miles de palabras que una sola dirección no puede captar, así que después de quitarlo los vecinos de una profesión siguen delatándola. Así que una lectura limpia de la regla no demuestra que el sesgo haya desaparecido, y el arreglo honesto empieza por los datos.

Palabras y símbolos de esta lección
embedding
la fila de números aprendidos que representa a un símbolo
ventana
cuántas palabras a cada lado cuentan como compañía de una palabra
PPMI
cuántas veces más se encuentran dos palabras de lo que daría el azar, con los negativos puestos a 0
mundo de juguete
un texto inventado con una estructura plantada, para que se conozcan las respuestas correctas
sesgo
un patrón desequilibrado en los datos que copian los vectores
Tu turno

Escribe gender_direction(X) y position(X, word, g). Las dos trabajan con vectores unitarios: divide primero el vector de cada palabra entre su longitud, luego toma las cuatro diferencias (queen menos king, woman menos man, princess menos prince, girl menos boy), súmalas y escala la suma a longitud 1. Una posición es el vector unitario de la palabra multiplicado escalarmente por g. Rellena pos: de sesgo (0.0 y 0.4) a un dict con las posiciones de las cuatro profesiones, usando vectores de cuentas con la frase entera como ventana. Luego escribe remove(x, g) que quite la componente a lo largo de g.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.