Dividindo documentos longos em chunks
A geração aumentada por recuperação (RAG) é como você aponta um modelo geral para os seus dados: um manual de políticas, um manual de produto, os tickets de suporte do último trimestre. O modelo nunca memorizou nada disso, então na hora da pergunta você recupera os trechos relevantes e os cola no prompt. O pipeline inteiro são só cinco peças honestas: dividir os documentos em chunks, fazer o embedding de cada chunk, guardar os vetores, recuperar os melhores resultados para uma consulta e montar um prompt fundamentado. Você vai construir as cinco ao longo deste módulo. O modelo que escreve a frase final pode ser o WebLLM no dispositivo, no seu navegador, mas cada etapa em volta dele é Python simples e testável, que é exatamente a parte que os empregadores avaliam.
A primeira etapa é o chunking. Um documento de 40 páginas é grande demais para virar um único vetor e grande demais para caber em um prompt, então você o corta em janelas sobrepostas. Por que sobrepostas? Porque um fato de que você precisa pode ficar em cima de uma fronteira rígida. Se você cortar exatamente no caractere 500 e a frase "refunds take five business days" for do 495 ao 515, nenhum dos chunks contém a resposta inteira. Alguns caracteres de sobreposição deixam a mesma frase inteira nos dois vizinhos.
O formato: você desliza uma janela de size caracteres para a frente, com um step de size - overlap a cada vez.
def chunk(text, size, overlap):
step = size - overlap
chunks = []
i = 0
while i < len(text):
chunks.append(text[i:i + size])
if i + size >= len(text):
break # this window already reached the end
i += step
return chunksEsse break importa: sem ele você continua avançando depois do fim e emite um pedacinho como "g" como "chunk" final. Parar assim que uma janela chega ao fim mantém o último chunk um chunk de verdade.
O que construir. Escreva chunk(text, size, overlap), que retorna uma lista de janelas sobrepostas. Regras que os testes verificam:
- Valide as entradas: levante
ValueErrorsesize <= 0, ou seoverlapfor negativo ou>= size(uma sobreposição desse tamanho nunca avança). - Texto vazio retorna uma lista vazia
[]. - Os últimos
overlapcaracteres de um chunk são iguais aos primeirosoverlapcaracteres do próximo. - Cobertura completa: juntar
chunks[0]comchunks[i][overlap:]de cada chunk seguinte reproduz o texto original exatamente, sem caracteres perdidos ou duplicados.
Erros de um a mais ou a menos moram aqui, então clique em Run e veja um parágrafo ser dividido em janelas que você pode conferir com os olhos.
Escreva chunk(text, size, overlap), que desliza uma janela de size caracteres para a frente em size - overlap a cada passo e retorna a lista de janelas. Levante ValueError quando size <= 0 ou quando overlap for negativo ou >= size. Retorne [] para texto vazio. Pare assim que uma janela chegar ao fim do texto (então o último chunk pode ser menor que size, e nunca há uma janela extra que só repete a sobreposição). Chunks vizinhos precisam compartilhar exatamente overlap caracteres, e juntar o primeiro chunk com chunk[overlap:] de cada chunk seguinte precisa reconstruir o texto original.
Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição
Este exercício abre em breve
Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.
Este navegador está bloqueando cookies para learn.floati.life, então as lições que você terminou aqui não podem abrir em ordem. Permita cookies para este site e recarregue.