Programme Leçon 143 sur 250 · Embeddings et recherche sémantique depuis zéro
Embeddings et recherche sémantique depuis zéro

Vecteurs en sac de mots

Avant qu'un modèle puisse comparer deux textes, le texte doit devenir des nombres. La façon la plus ancienne et la plus simple est le sac de mots : choisis une liste fixe de mots (le vocabulaire), puis décris n'importe quel document par le nombre de fois où chaque mot du vocabulaire y apparaît. L'ordre des mots est jeté, d'où le mot « sac ». C'est grossier, mais c'est la base sur laquelle s'appuient TF-IDF, BM25 et même les embeddings denses.

Disons que le vocabulaire est ["the", "cat", "sat", "dog", "ran"]. Le document "the cat sat" devient le vecteur de comptes [1, 1, 1, 0, 0] : un the, un cat, un sat, zéro dog, zéro ran. Le document "the dog ran the dog" devient [2, 0, 0, 2, 1].

Deux règles qui comptent en production :

  • La longueur du vecteur est toujours la taille du vocabulaire, quelle que soit la longueur du document. C'est cette forme fixe qui permet d'empiler les documents dans une matrice et de faire de l'algèbre linéaire.
  • Les mots absents du vocabulaire (hors vocabulaire, ou OOV) sont simplement ignorés. Un vrai système plafonne le vocabulaire, donc les mots jamais vus disparaissent.

Dans du vrai code, tu prendrais scikit-learn, qui fait exactement ça et te donne une matrice creuse :

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Pour comprendre ce que cet outil fait sous le capot, tu vas construire le compteur toi-même.

Construis vectorize(doc, vocab) : mets le document en minuscules, découpe-le sur les espaces, et renvoie une liste de comptes, un par mot du vocabulaire, dans l'ordre du vocabulaire. Ignore tout token absent du vocabulaire. Un document vide renvoie que des zéros.

À ton tour

Écris vectorize(doc, vocab) qui transforme une chaîne de document en liste de comptes en sac de mots sur un vocabulaire fixe. Mets le document en minuscules et découpe-le sur les espaces, compte combien de fois apparaît chaque mot de vocab, et renvoie les comptes sous forme de liste dans l'ordre de vocab. Les tokens hors vocabulaire sont ignorés ; un document vide renvoie que des zéros. La longueur de la liste renvoyée vaut toujours len(vocab).

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.