Lange documenten opdelen in stukken
Retrieval-augmented generation (RAG) is hoe je een algemeen model naar je data wijst: een beleidsboek, een producthandleiding, de support tickets van het laatste kwartaal. Het model heeft dit nooit uit het hoofd geleerd, dus op het moment van de vraag retrieve je de relevante passages en plak je deze in de prompt. De hele pipeline bestaat uit vijf eerlijke stukken: chunk de documenten, embed elke chunk, store de vectoren, retrieve de beste matches voor een query, en build een grounded prompt. Je bouwt alle vijf in deze module. Het model dat de laatste zin schrijft kan de on-device WebLLM in je browser zijn, maar elke stap eromheen is simpele, testbare Python, wat precies het deel is waar werkgevers op letten.
Stap één is chunking. Een document van 40 pagina's is te groot om als één vector te embedden en te groot om in een prompt te proppen, dus snijd je het in overlappende vensters. Waarom overlappend? Omdat een feit dat je nodig hebt precies op een harde grens kan vallen. Als je strak snijdt bij karakter 500 en de zin "refunds take five business days" loopt van 495 tot 515, bevat geen van beide chunks het hele antwoord. Een paar karakters van overlap zorgen ervoor dat dezelfde zin intact in beide buren staat.
De vorm ervan: je schuift een venster van size tekens vooruit met een step van size - overlap elke keer.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksDat break ertoe doet: zonder dit blijf je voorbij het einde stappen en stuur je een klein stukje zoals "g" uit als een laatste "chunk". Stoppen zodra een window het einde bereikt houdt de laatste chunk een echte.
Wat je moet bouwen. Schrijf chunk(text, size, overlap) die een lijst van overlappende vensters retourneert. Regels die de tests controleren:
- Valideer inputs: gooi
ValueErrorop alssize <= 0, of alsoverlapnegatief is of>= size(een overlap die zo groot nooit vooruitgaat). - Lege tekst geeft een lege lijst terug
[]. - De laatste
overlapkarakters van één chunk zijn gelijk aan de eersteoverlapkarakters van de volgende. - Volledige dekking: stitching
chunks[0]pluschunks[i][overlap:]voor elk later blok reproduceert de originele tekst exact, zonder verloren of dubbele tekens.
Off-by-one fouten zitten hier, dus druk op Run en kijk hoe een paragraaf wordt gesplitst in vensters die je kunt beoordelen.
Schrijf chunk(text, size, overlap) dat een venster van size karakters elke stap met size - overlap vooruit schuift en de lijst van vensters teruggeeft. Gooi ValueError op als size <= 0 of als overlap negatief is of >= size. Geef [] terug voor lege tekst. Stop zodra een venster het einde van de tekst bereikt (dus het laatste stuk kan korter zijn dan size, en er is nooit een extra venster dat alleen de overlap herhaalt). Aangrenzende stukken moeten precies overlap karakters delen, en het samenvoegen van het eerste stuk met chunk[overlap:] van elk later stuk moet de originele tekst herbouwen.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.