Temario Lección 143 de 250 · Embeddings y búsqueda semántica desde cero
Embeddings y búsqueda semántica desde cero

Vectores de bolsa de palabras

Antes de que un modelo pueda comparar dos fragmentos de texto, el texto tiene que convertirse en números. La forma más antigua y sencilla es la bolsa de palabras: eliges una lista fija de palabras (el vocabulario) y describes cualquier documento por cuántas veces aparece en él cada palabra del vocabulario. El orden de las palabras se descarta, de ahí lo de "bolsa". Es tosco, pero es la base sobre la que se construyen TF-IDF, BM25 e incluso los embeddings densos.

Supón que el vocabulario es ["the", "cat", "sat", "dog", "ran"]. El documento "the cat sat" se convierte en el vector de recuentos [1, 1, 1, 0, 0]: un the, un cat, un sat, cero dog, cero ran. El documento "the dog ran the dog" se convierte en [2, 0, 0, 2, 1].

Dos reglas que importan en producción:

  • La longitud del vector es siempre el tamaño del vocabulario, sin importar lo largo que sea el documento. Esa forma fija es lo que te permite apilar documentos en una matriz y hacer álgebra lineal.
  • Las palabras que no están en el vocabulario (fuera del vocabulario, u OOV) simplemente se ignoran. Un sistema real limita el vocabulario, así que las palabras no vistas desaparecen.

En código real recurrirías a scikit-learn, que hace exactamente esto y te entrega una matriz dispersa:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Para entender qué hace esa herramienta por dentro, construirás el contador tú mismo.

Construye vectorize(doc, vocab): pasa el documento a minúsculas, divídelo por los espacios y devuelve una lista de recuentos, uno por palabra del vocabulario, en el orden del vocabulario. Ignora cualquier token que no esté en el vocabulario. Un documento vacío devuelve todo ceros.

Tu turno

Escribe vectorize(doc, vocab), que convierta una cadena de documento en una lista de recuentos de bolsa de palabras sobre un vocabulario fijo. Pasa el documento a minúsculas y divídelo por los espacios, cuenta cuántas veces aparece cada palabra de vocab y devuelve los recuentos como una lista en el orden de vocab. Los tokens fuera del vocabulario se ignoran; un documento vacío devuelve todo ceros. La longitud de la lista devuelta es siempre igual a len(vocab).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.