Temario Lección 138 de 246 · Módulo 12: Palabras como números (embeddings)
Módulo 12: Palabras como números (embeddings)

Aprender vectores de palabras (skip-gram)

Por qué importa Contar necesita una tabla de V por V, lo que es imposible para un millón de palabras. Word2vec aprende en su lugar vectores cortos directamente por descenso de gradiente, y la misma idea, aprender vectores prediciendo el contexto, está dentro de todos los modelos de lenguaje.

Skip-gram con muestreo negativo. Cada palabra tiene dos vectores: v (como ella misma) y u (como contexto de otra). Para una pareja real (una palabra y una palabra de su frase), sube la puntuación v por u; para k palabras "negativas" aleatorias, bájala:

loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)

Los gradientes, por la regla de la cadena

Con p = sigmoid(v . u_pos) y q_k = sigmoid(v . u_neg_k):

  • dL/dv = (p - 1) u_pos + la suma sobre k de q_k u_neg_k
  • dL/du_pos = (p - 1) v
  • dL/du_neg_k = q_k v

Léelos: si la pareja real ya puntúa alto, p está cerca de 1 y casi no cambia nada. Los errores producen empujones grandes, exactamente como la entropía cruzada.

En lotes, con None

Para un lote, p tiene forma (B,) y u_pos tiene forma (B, d). Para escalar cada fila de u_pos por su propio (p - 1), añade una dirección: (p - 1)[:, None] * u_pos, forma (B, 1) por (B, d). Para los negativos, q tiene forma (B, k) y v tiene forma (B, d); q[:, :, None] * v[:, None, :] los alinea como (B, k, 1) por (B, 1, d), lo que da (B, k, d): una copia escalada de v por cada negativo. (La lección de formas del módulo de Python presentó None).

Palabras y símbolos de esta lección
PPMI
cuántas veces más se encuentran dos palabras de lo que daría el azar, con los negativos puestos a 0
skip-gram, muestreo negativo
aprender vectores puntuando alto las parejas reales (palabra, contexto) y bajo las aleatorias
Tu turno

Escribe sgns_grads(v, u_pos, u_neg) para un lote: v y u_pos tienen forma (B, d), u_neg tiene forma (B, k, d). Devuelve (g_v, g_pos, g_neg) con las mismas formas. El bucle de entrenamiento la usa; luego las 72 analogías deben acertarse al menos en un 90%.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.