Temario Lección 145 de 250 · Embeddings y búsqueda semántica desde cero
Embeddings y búsqueda semántica desde cero

Intuición de los embeddings (un embedder simulado determinista)

La bolsa de palabras tiene un punto ciego fatal: "dog" y "puppy" son palabras distintas, así que sus vectores de recuentos no comparten nada y su coseno es 0, aunque signifiquen casi lo mismo. Los embeddings reales lo resuelven situando las palabras (o frases enteras) en un espacio vectorial donde las cosas que se usan de forma parecida quedan cerca unas de otras. La idea que lo guía es la hipótesis distribucional: una palabra se conoce por las compañías que frecuenta. Las palabras que aparecen en los mismos contextos reciben vectores parecidos.

Los embeddings de producción salen de una red neuronal entrenada (sentence-transformers) o de una API alojada. Aquí no podemos ejecutarlos: no hay GPU ni red en este entorno. Así que construirás un embedder simulado determinista que capta la geometría del de verdad sin los pesos entrenados. Es honesto sobre sus límites y perfecto para aprender el mecanismo.

El truco es un vector de coocurrencia. Dado un pequeño corpus seleccionado, el embedding de una palabra es un recuento de qué otras palabras aparecen en los mismos documentos que ella. Si dog y puppy se juntan ambas con park, runs y nap, sus vectores de contexto se alinean y el coseno es alto. invoice, en cambio, se junta con pay y due, así que apunta a otro lado.

Con el corpus que viene con esta lección, la recompensa es concreta:

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Esa desigualdad, cosine(dog, puppy) > cosine(dog, invoice), es toda la idea de los embeddings expresada en una línea.

Como contraste, así se ve una llamada real (NO se ejecutará aquí, se muestra solo como contexto):

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Construye embed(word, corpus, vocab), que devuelva el vector de coocurrencia de una palabra: una lista de longitud fija (una posición por palabra del vocabulario) donde la posición j cuenta cuántas veces la palabra j del vocabulario coocurre con la palabra objetivo en todos los documentos del corpus que contienen la palabra objetivo. No cuentes la palabra objetivo contra sí misma. La misma palabra siempre devuelve el mismo vector.

Tu turno

Escribe embed(word, corpus, vocab), un embedder simulado determinista. Para la palabra dada, recorre cada documento de corpus (cada uno, una cadena en minúsculas). En los documentos que contienen la palabra, cuenta las otras palabras (sáltate la palabra objetivo) en un vector de la longitud del vocabulario, devuelto como lista en el orden de vocab. El resultado es un vector de contexto de coocurrencia: las palabras usadas en contextos parecidos reciben vectores parecidos, así que con el corpus de la lección cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). La misma palabra siempre da el mismo vector, y la longitud siempre es igual a len(vocab). Deja CORPUS y VOCAB del código inicial como están: la comprobación los lee.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.