Vecteurs en sac de mots
Avant qu'un modèle puisse comparer deux textes, le texte doit devenir des nombres. La façon la plus ancienne et la plus simple est le sac de mots : choisis une liste fixe de mots (le vocabulaire), puis décris n'importe quel document par le nombre de fois où chaque mot du vocabulaire y apparaît. L'ordre des mots est jeté, d'où le mot « sac ». C'est grossier, mais c'est la base sur laquelle s'appuient TF-IDF, BM25 et même les embeddings denses.
Disons que le vocabulaire est ["the", "cat", "sat", "dog", "ran"]. Le document "the cat sat" devient le vecteur de comptes [1, 1, 1, 0, 0] : un the, un cat, un sat, zéro dog, zéro ran. Le document "the dog ran the dog" devient [2, 0, 0, 2, 1].
Deux règles qui comptent en production :
- La longueur du vecteur est toujours la taille du vocabulaire, quelle que soit la longueur du document. C'est cette forme fixe qui permet d'empiler les documents dans une matrice et de faire de l'algèbre linéaire.
- Les mots absents du vocabulaire (hors vocabulaire, ou OOV) sont simplement ignorés. Un vrai système plafonne le vocabulaire, donc les mots jamais vus disparaissent.
Dans du vrai code, tu prendrais scikit-learn, qui fait exactement ça et te donne une matrice creuse :
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsPour comprendre ce que cet outil fait sous le capot, tu vas construire le compteur toi-même.
Construis vectorize(doc, vocab) : mets le document en minuscules, découpe-le sur les espaces, et renvoie une liste de comptes, un par mot du vocabulaire, dans l'ordre du vocabulaire. Ignore tout token absent du vocabulaire. Un document vide renvoie que des zéros.
Écris vectorize(doc, vocab) qui transforme une chaîne de document en liste de comptes en sac de mots sur un vocabulaire fixe. Mets le document en minuscules et découpe-le sur les espaces, compte combien de fois apparaît chaque mot de vocab, et renvoie les comptes sous forme de liste dans l'ordre de vocab. Les tokens hors vocabulaire sont ignorés ; un document vide renvoie que des zéros. La longueur de la liste renvoyée vaut toujours len(vocab).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.