Découper les longs documents
La génération augmentée par la recherche (RAG), c'est la façon de diriger un modèle généraliste vers tes données : un guide des règles internes, un manuel produit, les tickets de support du trimestre dernier. Le modèle n'en a jamais rien mémorisé, donc au moment de la question tu récupères les passages pertinents et tu les colles dans le prompt. Toute la chaîne tient en cinq pièces simples : découper les documents, calculer l'embedding de chaque morceau, stocker les vecteurs, récupérer les meilleures correspondances pour une requête, et construire un prompt ancré. Tu vas construire les cinq dans ce module. Le modèle qui écrit la phrase finale peut être le WebLLM sur l'appareil dans ton navigateur, mais chaque étape autour est du Python simple et testable, exactement la partie que les employeurs vérifient.
La première étape est le découpage (chunking). Un document de 40 pages est trop gros pour un seul vecteur et trop gros pour tenir dans un prompt, donc tu le coupes en fenêtres qui se chevauchent. Pourquoi un chevauchement ? Parce qu'un fait dont tu as besoin peut tomber à cheval sur une frontière nette. Si tu coupes pile au caractère 500 et que la phrase "refunds take five business days" va de 495 à 515, aucun morceau ne contient la réponse entière. Quelques caractères de chevauchement (overlap) permettent à la même phrase de vivre intacte dans les deux voisins.
Le principe : tu fais glisser une fenêtre de size caractères vers l'avant d'un pas step de size - overlap à chaque fois.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksCe break compte : sans lui, tu continues d'avancer après la fin et tu produis un petit reste comme "g" en guise de dernier « morceau ». S'arrêter dès qu'une fenêtre atteint la fin garde un vrai dernier morceau.
À construire. Écris chunk(text, size, overlap) qui renvoie une liste de fenêtres qui se chevauchent. Les règles vérifiées par les tests :
- Valide les entrées : lève
ValueErrorsisize <= 0, ou sioverlapest négatif ou>= size(un chevauchement aussi grand n'avance jamais). - Un texte vide renvoie une liste vide
[]. - Les
overlapderniers caractères d'un morceau sont égaux auxoverlappremiers caractères du suivant. - Couverture complète : recoller
chunks[0]pluschunks[i][overlap:]pour chaque morceau suivant reproduit exactement le texte d'origine, sans caractère perdu ni doublé.
Les erreurs d'un cran se cachent ici, alors appuie sur Run et regarde un paragraphe se découper en fenêtres que tu peux vérifier à l'œil.
Écris chunk(text, size, overlap) qui fait glisser une fenêtre de size caractères vers l'avant de size - overlap à chaque pas et renvoie la liste des fenêtres. Lève ValueError quand size <= 0 ou quand overlap est négatif ou >= size. Renvoie [] pour un texte vide. Arrête-toi dès qu'une fenêtre atteint la fin du texte (donc le dernier morceau peut être plus court que size, et il n'y a jamais de fenêtre en trop qui ne répète que le chevauchement). Des morceaux voisins doivent partager exactement overlap caractères, et recoller le premier morceau avec chunk[overlap:] de chaque morceau suivant doit reconstruire le texte d'origine.
Tu as repéré un problème dans cette leçon ? Signale-le · Pose une question sur cette leçon
Cet exercice s'ouvre bientôt
Termine la leçon précédente pour débloquer celle-ci. Tout le cours est gratuit, aucun compte n'est requis, et tu peux lire cette leçon dès maintenant.
Ce navigateur bloque les cookies pour learn.floati.life, donc les leçons que tu as terminées ici ne peuvent pas s'ouvrir dans l'ordre. Autorise les cookies pour ce site et recharge la page.