Programma Les 154 van 250 · Bouw een RAG Pipeline
Bouw een RAG Pipeline

Lange documenten opdelen in stukken

Retrieval-augmented generation (RAG) is hoe je een algemeen model naar je data wijst: een beleidsboek, een producthandleiding, de support tickets van het laatste kwartaal. Het model heeft dit nooit uit het hoofd geleerd, dus op het moment van de vraag retrieve je de relevante passages en plak je deze in de prompt. De hele pipeline bestaat uit vijf eerlijke stukken: chunk de documenten, embed elke chunk, store de vectoren, retrieve de beste matches voor een query, en build een grounded prompt. Je bouwt alle vijf in deze module. Het model dat de laatste zin schrijft kan de on-device WebLLM in je browser zijn, maar elke stap eromheen is simpele, testbare Python, wat precies het deel is waar werkgevers op letten.

Stap één is chunking. Een document van 40 pagina's is te groot om als één vector te embedden en te groot om in een prompt te proppen, dus snijd je het in overlappende vensters. Waarom overlappend? Omdat een feit dat je nodig hebt precies op een harde grens kan vallen. Als je strak snijdt bij karakter 500 en de zin "refunds take five business days" loopt van 495 tot 515, bevat geen van beide chunks het hele antwoord. Een paar karakters van overlap zorgen ervoor dat dezelfde zin intact in beide buren staat.

De vorm ervan: je schuift een venster van size tekens vooruit met een step van size - overlap elke keer.

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

Dat break ertoe doet: zonder dit blijf je voorbij het einde stappen en stuur je een klein stukje zoals "g" uit als een laatste "chunk". Stoppen zodra een window het einde bereikt houdt de laatste chunk een echte.

Wat je moet bouwen. Schrijf chunk(text, size, overlap) die een lijst van overlappende vensters retourneert. Regels die de tests controleren:

  • Valideer inputs: gooi ValueError op als size <= 0, of als overlap negatief is of >= size (een overlap die zo groot nooit vooruitgaat).
  • Lege tekst geeft een lege lijst terug [].
  • De laatste overlap karakters van één chunk zijn gelijk aan de eerste overlap karakters van de volgende.
  • Volledige dekking: stitching chunks[0] plus chunks[i][overlap:] voor elk later blok reproduceert de originele tekst exact, zonder verloren of dubbele tekens.

Off-by-one fouten zitten hier, dus druk op Run en kijk hoe een paragraaf wordt gesplitst in vensters die je kunt beoordelen.

Jij bent aan de beurt

Schrijf chunk(text, size, overlap) dat een venster van size karakters elke stap met size - overlap vooruit schuift en de lijst van vensters teruggeeft. Gooi ValueError op als size <= 0 of als overlap negatief is of >= size. Geef [] terug voor lege tekst. Stop zodra een venster het einde van de tekst bereikt (dus het laatste stuk kan korter zijn dan size, en er is nooit een extra venster dat alleen de overlap herhaalt). Aangrenzende stukken moeten precies overlap karakters delen, en het samenvoegen van het eerste stuk met chunk[overlap:] van elk later stuk moet de originele tekst herbouwen.

Een probleem ontdekt in deze les? Meld het · Vraag naar deze les

Deze oefening opent binnenkort

Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.