Kurrikulum Leson 154 van 250 · Bou 'n RAG Pipeline
Bou 'n RAG Pipeline

Opdeel van Lang Dokumente

Retrieval-augmented generation (RAG) is hoe jy 'n algemene model na jou data wys: 'n beleidshandboek, 'n produkhandleiding, of die ondersteuningsaansoeke van die laaste kwartaal. Die model het nooit iets daarvan onthou nie, so by die vraag haal jy retrieve die relevante gedeeltes uit en plak hulle in die prompt. Die hele pipeline bestaan net uit vyf eerlike dele: chunk die dokumente, embed elke chunk, store die vectors, retrieve die top matches vir 'n query, en build 'n grounded prompt. Jy gaan al vyf bou oor hierdie module. Die model wat die finale sin skryf, kan die on-device WebLLM in jou browser wees, maar elke stap daaromheen is eenvoudige, toetsbare Python, wat presies die deel is waar werkgewers na kyk.

Stap een is opdeling in stukke (chunking). 'n Dokument van 40 bladsye is te groot om as een vektor in te bed en te groot om in 'n prompt te prop, so jy sny dit in oorvleuelende vensters. Hoekom oorvleuelend? Omdat 'n feit wat jy nodig het oor 'n harde grens kan strek. As jy netjies by karakter 500 sny en die sin "refunds take five business days" strek van 495 tot 515, bevat geen van die stukke die hele antwoord nie. 'n Paar karakters oorvleueling laat dieselfde sin heel in albei bure leef.

Die vorm daarvan: jy skuif 'n venster van size karakters vorentoe met 'n step van size - overlap elke keer.

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

Daardie break is belangrik: sonder dit stap jy aan die einde verby en stuur jy 'n klein stukkie soos "g" as 'n finale "chunk". As jy stop sodra 'n venster die einde bereik, bly die laaste chunk 'n regte een.

Wat om te bou. Skryf chunk(text, size, overlap) wat 'n lys van oortrekkende vensters teruggee. Reëls wat die toetse nagaan:

  • Valideer insets: gooi ValueError as size <= 0, of as overlap negatief of >= size ('n oorklapping wat so groot nooit vorder nie) is.
  • Leë teks gee 'n leë lys terug [].
  • Die laaste overlap karakters van een blok is gelyk aan die eerste overlap karakters van die volgende.
  • Volle dekking: heegten chunks[0] plus chunks[i][overlap:] vir elke latere stuk herproduseer die oorspronklike teks presies, sonder dat karakters verlore gaan of verdubbel word.

Off-by-one-foute is hier, so druk Run en kyk hoe 'n paragraaf in vensters verdeel wat jy kan nagaan.

Jou beurt

Skryf chunk(text, size, overlap) wat 'n venster van size karakters vorentoe skuif met size - overlap elke stap en die lys van vensters teruggee. Gooi ValueError op as size <= 0 of as overlap negatief of >= size is. Gee [] terug vir leë teks. Stop sodra 'n venster die einde van die teks bereik (so die laaste stuk kan korter as size wees, en daar is nooit 'n ekstra venster wat net die oorklapping herhaal nie). Aangelyke stukke moet presies overlap karakters deel, en om die eerste stuk met chunk[overlap:] van elke latere stuk saam te voeg moet die oorspronklike teks herbou.

Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les

Hierdie oefening open binnekort

Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.