Aprender vectores de palabras (skip-gram)
Por qué importa Contar necesita una tabla de V por V, lo que es imposible para un millón de palabras. Word2vec aprende en su lugar vectores cortos directamente por descenso de gradiente, y la misma idea, aprender vectores prediciendo el contexto, está dentro de todos los modelos de lenguaje.
Skip-gram con muestreo negativo. Cada palabra tiene dos vectores: v (como ella misma) y u (como contexto de otra). Para una pareja real (una palabra y una palabra de su frase), sube la puntuación v por u; para k palabras "negativas" aleatorias, bájala:
loss = -log sigmoid(v . u_pos) - sum over negatives of log sigmoid(-v . u_neg)
Los gradientes, por la regla de la cadena
Con p = sigmoid(v . u_pos) y q_k = sigmoid(v . u_neg_k):
- dL/dv = (p - 1) u_pos + la suma sobre k de q_k u_neg_k
- dL/du_pos = (p - 1) v
- dL/du_neg_k = q_k v
Léelos: si la pareja real ya puntúa alto, p está cerca de 1 y casi no cambia nada. Los errores producen empujones grandes, exactamente como la entropía cruzada.
En lotes, con None
Para un lote, p tiene forma (B,) y u_pos tiene forma (B, d). Para escalar cada fila de u_pos por su propio (p - 1), añade una dirección: (p - 1)[:, None] * u_pos, forma (B, 1) por (B, d). Para los negativos, q tiene forma (B, k) y v tiene forma (B, d); q[:, :, None] * v[:, None, :] los alinea como (B, k, 1) por (B, 1, d), lo que da (B, k, d): una copia escalada de v por cada negativo. (La lección de formas del módulo de Python presentó None).
Palabras y símbolos de esta lección
- PPMI
- cuántas veces más se encuentran dos palabras de lo que daría el azar, con los negativos puestos a 0
- skip-gram, muestreo negativo
- aprender vectores puntuando alto las parejas reales (palabra, contexto) y bajo las aleatorias
Escribe sgns_grads(v, u_pos, u_neg) para un lote: v y u_pos tienen forma (B, d), u_neg tiene forma (B, k, d). Devuelve (g_v, g_pos, g_neg) con las mismas formas. El bucle de entrenamiento la usa; luego las 72 analogías deben acertarse al menos en un 90%.
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.