Conteúdo do curso Lição 154 de 250 · Construa um pipeline de RAG
Construa um pipeline de RAG

Dividindo documentos longos em chunks

A geração aumentada por recuperação (RAG) é como você aponta um modelo geral para os seus dados: um manual de políticas, um manual de produto, os tickets de suporte do último trimestre. O modelo nunca memorizou nada disso, então na hora da pergunta você recupera os trechos relevantes e os cola no prompt. O pipeline inteiro são só cinco peças honestas: dividir os documentos em chunks, fazer o embedding de cada chunk, guardar os vetores, recuperar os melhores resultados para uma consulta e montar um prompt fundamentado. Você vai construir as cinco ao longo deste módulo. O modelo que escreve a frase final pode ser o WebLLM no dispositivo, no seu navegador, mas cada etapa em volta dele é Python simples e testável, que é exatamente a parte que os empregadores avaliam.

A primeira etapa é o chunking. Um documento de 40 páginas é grande demais para virar um único vetor e grande demais para caber em um prompt, então você o corta em janelas sobrepostas. Por que sobrepostas? Porque um fato de que você precisa pode ficar em cima de uma fronteira rígida. Se você cortar exatamente no caractere 500 e a frase "refunds take five business days" for do 495 ao 515, nenhum dos chunks contém a resposta inteira. Alguns caracteres de sobreposição deixam a mesma frase inteira nos dois vizinhos.

O formato: você desliza uma janela de size caracteres para a frente, com um step de size - overlap a cada vez.

def chunk(text, size, overlap):
    step = size - overlap
    chunks = []
    i = 0
    while i < len(text):
        chunks.append(text[i:i + size])
        if i + size >= len(text):
            break          # this window already reached the end
        i += step
    return chunks

Esse break importa: sem ele você continua avançando depois do fim e emite um pedacinho como "g" como "chunk" final. Parar assim que uma janela chega ao fim mantém o último chunk um chunk de verdade.

O que construir. Escreva chunk(text, size, overlap), que retorna uma lista de janelas sobrepostas. Regras que os testes verificam:

  • Valide as entradas: levante ValueError se size <= 0, ou se overlap for negativo ou >= size (uma sobreposição desse tamanho nunca avança).
  • Texto vazio retorna uma lista vazia [].
  • Os últimos overlap caracteres de um chunk são iguais aos primeiros overlap caracteres do próximo.
  • Cobertura completa: juntar chunks[0] com chunks[i][overlap:] de cada chunk seguinte reproduz o texto original exatamente, sem caracteres perdidos ou duplicados.

Erros de um a mais ou a menos moram aqui, então clique em Run e veja um parágrafo ser dividido em janelas que você pode conferir com os olhos.

Sua vez

Escreva chunk(text, size, overlap), que desliza uma janela de size caracteres para a frente em size - overlap a cada passo e retorna a lista de janelas. Levante ValueError quando size <= 0 ou quando overlap for negativo ou >= size. Retorne [] para texto vazio. Pare assim que uma janela chegar ao fim do texto (então o último chunk pode ser menor que size, e nunca há uma janela extra que só repete a sobreposição). Chunks vizinhos precisam compartilhar exatamente overlap caracteres, e juntar o primeiro chunk com chunk[overlap:] de cada chunk seguinte precisa reconstruir o texto original.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.