Programme Leçon 145 sur 250 · Embeddings et recherche sémantique depuis zéro
Embeddings et recherche sémantique depuis zéro

L'intuition des embeddings (un faux encodeur déterministe)

Le sac de mots a un angle mort fatal : "dog" et "puppy" sont des mots différents, donc leurs vecteurs de comptes n'ont rien en commun et leur cosinus vaut 0, alors qu'ils veulent dire presque la même chose. Les vrais embeddings corrigent ça en plaçant les mots (ou des phrases entières) dans un espace vectoriel où les choses utilisées de façon semblable se retrouvent près les unes des autres. L'idée directrice est l'hypothèse distributionnelle : on connaît un mot à ses fréquentations. Les mots qui apparaissent dans les mêmes contextes reçoivent des vecteurs semblables.

Les embeddings de production viennent d'un réseau de neurones entraîné (sentence-transformers) ou d'une API hébergée. On ne peut pas les faire tourner ici : ce bac à sable n'a ni GPU ni réseau. Tu vas donc construire un faux encodeur déterministe qui capte la géométrie du vrai, sans les poids entraînés. Il est honnête sur ses limites et parfait pour apprendre le mécanisme.

L'astuce est un vecteur de cooccurrence. Étant donné un petit corpus choisi, l'embedding d'un mot compte quels autres mots apparaissent dans les mêmes documents que lui. Si dog et puppy fréquentent tous les deux park, runs et nap, leurs vecteurs de contexte s'alignent et le cosinus est élevé. invoice fréquente plutôt pay et due, donc il pointe ailleurs.

Sur le corpus fourni avec cette leçon, le gain est concret :

cosine(embed("dog"), embed("puppy"))    # high, around 0.9
cosine(embed("dog"), embed("invoice"))  # low,  around 0.37

Cette inégalité, cosine(dog, puppy) > cosine(dog, invoice), c'est tout l'intérêt des embeddings exprimé en une ligne.

Pour comparaison, voici à quoi ressemble un vrai appel (il ne tournera PAS ici, il n'est montré que pour le contexte) :

# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog")   # 384-dim learned vector

Construis embed(word, corpus, vocab) qui renvoie le vecteur de cooccurrence d'un mot : une liste de longueur fixe (une case par mot du vocabulaire) où la case j compte combien de fois le mot j du vocabulaire apparaît avec le mot cible, dans tous les documents du corpus qui contiennent le mot cible. Ne compte pas le mot cible avec lui-même. Le même mot renvoie toujours le même vecteur.

À ton tour

Écris embed(word, corpus, vocab), un faux encodeur déterministe. Pour le mot donné, parcours chaque document de corpus (chacun une chaîne en minuscules). Dans les documents qui contiennent le mot, compte les autres mots (saute le mot cible lui-même) dans un vecteur de la longueur du vocabulaire, renvoyé sous forme de liste dans l'ordre de vocab. Le résultat est un vecteur de contexte de cooccurrence : les mots utilisés dans des contextes semblables reçoivent des vecteurs semblables, donc sur le corpus de la leçon cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice")). Le même mot donne toujours le même vecteur, et la longueur vaut toujours len(vocab). Garde CORPUS et VOCAB du code de départ tels quels : la vérification les lit.

Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon

Cet exercice s'ouvre bientôt

Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.