Suddividere i documenti lunghi
La generazione con recupero (RAG) è il modo in cui punti un modello generico sui tuoi dati: un manuale delle regole, un manuale di prodotto, i ticket di assistenza dell'ultimo trimestre. Il modello non ha mai memorizzato niente di tutto questo, quindi al momento della domanda recuperi i passaggi pertinenti e li incolli nel prompt. Tutta la pipeline sono solo cinque pezzi onesti: dividi i documenti in pezzi, fai l'embedding di ogni pezzo, salva i vettori, recupera le migliori corrispondenze per una query, e costruisci un prompt ancorato. Li costruirai tutti e cinque in questo modulo. Il modello che scrive la frase finale può essere il WebLLM sul dispositivo nel tuo browser, ma ogni passo intorno è semplice Python verificabile, che è esattamente la parte che i datori di lavoro controllano.
Il primo passo è la suddivisione in pezzi (chunking). Un documento di 40 pagine è troppo grande per farne l'embedding come un solo vettore e troppo grande da infilare in un prompt, quindi lo tagli in finestre che si sovrappongono. Perché sovrapposte? Perché un fatto che ti serve potrebbe stare a cavallo di un confine netto. Se tagli di netto al carattere 500 e la frase "refunds take five business days" va dal 495 al 515, nessuno dei due pezzi contiene tutta la risposta. Pochi caratteri di sovrapposizione lasciano la stessa frase intera in entrambi i vicini.
La forma: fai scorrere una finestra di size caratteri in avanti di un step di size - overlap ogni volta.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksQuel break conta: senza, continui ad avanzare oltre la fine e produci un ritaglio minuscolo come "g" come ultimo "pezzo". Fermarsi appena una finestra raggiunge la fine fa sì che l'ultimo pezzo sia un pezzo vero.
Che cosa costruire. Scrivi chunk(text, size, overlap) che restituisce una lista di finestre sovrapposte. Le regole che controllano i test:
- Valida gli input: solleva
ValueErrorsesize <= 0, o seoverlapè negativo o>= size(una sovrapposizione così grande non avanza mai). - Un testo vuoto restituisce una lista vuota
[]. - Gli ultimi
overlapcaratteri di un pezzo sono uguali ai primioverlapcaratteri del successivo. - Copertura completa: ricucire
chunks[0]piùchunks[i][overlap:]per ogni pezzo successivo riproduce esattamente il testo originale, senza caratteri persi o raddoppiati.
Qui vivono gli errori di uno, quindi premi Run e guarda un paragrafo dividersi in finestre che puoi controllare a occhio.
Scrivi chunk(text, size, overlap) che fa scorrere una finestra di size caratteri in avanti di size - overlap a ogni passo e restituisce la lista delle finestre. Solleva ValueError quando size <= 0 o quando overlap è negativo o >= size. Restituisci [] per un testo vuoto. Fermati appena una finestra raggiunge la fine del testo (quindi l'ultimo pezzo può essere più corto di size, e non c'è mai una finestra in più che ripete solo la sovrapposizione). I pezzi vicini devono condividere esattamente overlap caratteri, e ricucire il primo pezzo con chunk[overlap:] di ogni pezzo successivo deve ricostruire il testo originale.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.