Vectores de bolsa de palabras
Antes de que un modelo pueda comparar dos fragmentos de texto, el texto tiene que convertirse en números. La forma más antigua y sencilla es la bolsa de palabras: eliges una lista fija de palabras (el vocabulario) y describes cualquier documento por cuántas veces aparece en él cada palabra del vocabulario. El orden de las palabras se descarta, de ahí lo de "bolsa". Es tosco, pero es la base sobre la que se construyen TF-IDF, BM25 e incluso los embeddings densos.
Supón que el vocabulario es ["the", "cat", "sat", "dog", "ran"]. El documento "the cat sat" se convierte en el vector de recuentos [1, 1, 1, 0, 0]: un the, un cat, un sat, cero dog, cero ran. El documento "the dog ran the dog" se convierte en [2, 0, 0, 2, 1].
Dos reglas que importan en producción:
- La longitud del vector es siempre el tamaño del vocabulario, sin importar lo largo que sea el documento. Esa forma fija es lo que te permite apilar documentos en una matriz y hacer álgebra lineal.
- Las palabras que no están en el vocabulario (fuera del vocabulario, u OOV) simplemente se ignoran. Un sistema real limita el vocabulario, así que las palabras no vistas desaparecen.
En código real recurrirías a scikit-learn, que hace exactamente esto y te entrega una matriz dispersa:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsPara entender qué hace esa herramienta por dentro, construirás el contador tú mismo.
Construye vectorize(doc, vocab): pasa el documento a minúsculas, divídelo por los espacios y devuelve una lista de recuentos, uno por palabra del vocabulario, en el orden del vocabulario. Ignora cualquier token que no esté en el vocabulario. Un documento vacío devuelve todo ceros.
Escribe vectorize(doc, vocab), que convierta una cadena de documento en una lista de recuentos de bolsa de palabras sobre un vocabulario fijo. Pasa el documento a minúsculas y divídelo por los espacios, cuenta cuántas veces aparece cada palabra de vocab y devuelve los recuentos como una lista en el orden de vocab. Los tokens fuera del vocabulario se ignoran; un documento vacío devuelve todo ceros. La longitud de la lista devuelta es siempre igual a len(vocab).
¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección
Este ejercicio se abre pronto
Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.
Este navegador está bloqueando las cookies de learn.floati.life, así que las lecciones que terminaste aquí no se pueden abrir en orden. Permite las cookies de este sitio y recarga.