Calculer l'embedding des morceaux
Tu as des morceaux de texte. Mais le moteur de recherche compare des vecteurs, pas des mots, donc l'étape qui manque est l'embedding : transformer chaque morceau en liste de nombres de longueur fixe pour que des textes au contenu proche tombent à des coordonnées proches. C'est le « embed » promis dans la chaîne (chunk -> embed -> store -> retrieve -> prompt), et c'est ce qui alimente VectorStore.add(id, text, vector) dans la leçon suivante.
Les systèmes de production appellent un modèle d'embedding neuronal (OpenAI, Cohere, un sentence-transformer) par le réseau, mais le contrat est identique et tu peux construire hors ligne un vrai calcul d'embedding déterministe pour l'apprendre : un vecteur sac de mots (bag-of-words). Fixe un vocab (les mots qui t'intéressent), puis représente un bout de texte par le nombre de fois où chaque mot du vocabulaire y apparaît.
vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0] (two cats, one dog, no fish)Une étape de plus les rend utilisables pour la recherche par cosinus : la normalisation L2 du vecteur (le diviser par sa propre longueur, np.linalg.norm). Après ça, chaque vecteur a une longueur de 1, donc la similarité cosinus devient un simple produit scalaire et les longs morceaux arrêtent d'écraser les courts juste parce qu'ils ont plus de mots. Un morceau qui ne contient aucun mot du vocabulaire n'a rien à normaliser, donc laisse ce vecteur nul tel quel (ne divise jamais par zéro).
Construis deux fonctions.
build_vocab(chunks)-> la liste triée des mots uniques de tous les morceaux. Découpe chaque morceau avectext.lower().split()(minuscules, découpage sur les espaces).embed(text, vocab)-> un tableau numpy de floats de longueurlen(vocab): le nombre d'occurrences de chaque mot du vocabulaire danstext(même découpage), puis normalisé L2. Si tous les comptes sont nuls, renvoie le vecteur nul inchangé.
Appuie sur Run pour calculer l'embedding de quelques morceaux et vérifier que des textes liés pointent dans le même sens.
Écris build_vocab(chunks) qui renvoie les mots uniques triés de tous les morceaux (découpe avec text.lower().split()), et embed(text, vocab) qui renvoie un tableau numpy de floats de longueur len(vocab) contenant le nombre d'occurrences de chaque mot du vocabulaire dans text (même découpage), normalisé L2 avec np.linalg.norm. Si tous les comptes sont nuls, renvoie le vecteur nul inchangé (ne divise pas par zéro).
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.