Lange Dokumente in Stücke unterteilen
Retrieval-augmented generation (RAG) ist die Art und Weise, wie du ein allgemeines Modell auf deine Daten ausrichtest: ein Handbuch für Richtlinien, ein Produkthandbuch, die Support-Tickets des letzten Quartals. Das Modell hat nie etwas davon auswendig gelernt, also holst du zum Zeitpunkt der Frage die relevanten Passagen heraus und fügst sie in den prompt ein. Die gesamte Pipeline besteht aus fünf ehrlichen Teilen: die Dokumente in chunks unterteilen, jeden chunk einbetten, die vektoren speichern, die besten Treffer für eine abfrage abrufen und einen grounded prompt erstellen. Du wirst alle fünf Teile in diesem Modul bauen. Das Modell, das den letzten Satz schreibt, kann das on-device WebLLM in deinem browser sein, aber jeder schritt darum herum ist einfaches, testbares Python, was genau der Teil ist, den Arbeitgeber prüfen.
Schritt eins ist chunking. Ein 40-seitiges Dokument ist zu groß, um es als einen Vektor einzubetten und zu groß, um es in einen prompt zu stopfen, also schneidest du es in überlappende Fenster. Warum überlappend? Weil ein Fakt, den du brauchst, eine harte Grenze überschreiten könnte. Wenn du sauber bei Zeichen 500 schneidest und der Satz "refunds take five business days" von 495 bis 515 reicht, enthält kein chunk die ganze Antwort. Ein paar Zeichen von overlap lassen denselben Satz intakt in beiden Nachbarn existieren.
Die Form davon: du schiebst ein Fenster von size Zeichen jedes Mal um step von size - overlap vorwärts.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksDas break Warum das wichtig ist: ohne es gehst du immer über das Ende hinaus und gibst einen winzigen Rest wie "g" als letzten "chunk" aus. Das Stoppen, sobald ein Fenster das Ende erreicht, hält den letzten chunk zu einem echten.
Was zu bauen ist. Schreibe chunk(text, size, overlap) eine Liste überlappender Fenster zurück. Regeln, die die Tests prüfen:
- Eingaben validieren:
ValueErrorauslösen, wennsize <= 0, oder wennoverlapnegativ oder>= sizeist (eine so große Überschneidung schreitet nie voran). - Leerer Text gibt eine leere Liste zurück
[]. - Die letzten
overlapZeichen eines Abschnitts entsprechen den erstenoverlapZeichen des nächsten. - Vollständige Abdeckung: stitching
chunks[0]pluschunks[i][overlap:]für jeden späteren Chunk reproduziert den Originaltext exakt, ohne dass Zeichen verloren gehen oder verdoppelt werden.
Off-by-one Fehler befinden sich hier, also drücke Run und beobachte, wie ein Absatz in Fenster aufgeteilt wird, die du abschätzen kannst.
Schreibe chunk(text, size, overlap), das ein Fenster von size Zeichen in jedem Schritt um size - overlap nach vorne schiebt und die Liste der Fenster zurückgibt. Wirf ValueError aus, wenn size <= 0 oder wenn overlap negativ oder >= size ist. Gib [] für leeren Text zurück. Stoppe, sobald ein Fenster das Ende des Textes erreicht (der letzte Chunk kann also kürzer als size sein, und es gibt niemals ein extra Fenster, das nur die Überschneidung wiederholt). Benachbarte Chunks müssen genau overlap Zeichen teilen, und das Zusammenfügen des ersten Chunks mit chunk[overlap:] jedes späteren Chunks muss den ursprünglichen Text wiederherstellen.
Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion
Diese Übung öffnet bald
Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.
Dieser Browser blockiert Cookies für learn.floati.life, daher können hier beendigte Lektionen nicht in der richtigen Reihenfolge geöffnet werden. Erlaube Cookies für diese Seite und lade sie neu.