Conteúdo do curso Lição 213 de 250 · Projeto: Copiloto de Suporte ao Cliente
Projeto: Copiloto de Suporte ao Cliente

Indexe a Base de Conhecimento

Bem-vindo ao projeto principal do seu portfólio: um Customer Support Copilot. Ao longo de quatro lições você vai construir e avaliar, de ponta a ponta, um assistente de suporte com geração aumentada por recuperação (RAG) -- exatamente o sistema por trás do widget de chat que responde "how do I reset my password?" a partir dos artigos de ajuda de uma empresa, em vez de chutar. Quando terminar, a linha do currículo se escreve sozinha: construí e avaliei um pipeline de RAG e uma estrutura de avaliação.

Um sistema RAG tem uma regra de ouro: o modelo só responde com base em documentos que você realmente recuperou. Então, antes de qualquer modelo de linguagem entrar em cena, você precisa de uma recuperação rápida e precisa. É esta lição. Um gerente de contratação lendo seu código aqui verifica uma coisa: você consegue transformar uma pilha de texto em algo que dá para buscar bem? TF-IDF é um método lexical: ele casa as palavras que uma consulta compartilha com um artigo, ponderadas pelo quanto cada palavra é reveladora. Ele não sabe que "refund" e "money back" significam a mesma coisa; isso é o que os embeddings acrescentam (nas próximas lições). A busca lexical ainda é a base rápida e barata que todo sistema de recuperação deveria superar.

Você vai construir um pequeno recuperador TF-IDF. A ideia em uma frase: represente cada artigo como um vetor de pesos de palavras, em que uma palavra conta mais se for frequente neste artigo (frequência do termo), mas rara em todos os artigos (frequência inversa de documento). Compare uma consulta com cada artigo usando similaridade de cosseno e retorne os mais próximos.

Três movimentos fazem isso funcionar:

  • Tokenizar -- passe para minúsculas, divida em palavras e descarte pequenas stopwords como "the" e "is", que casam com tudo e não significam nada. re.findall(r"[a-z0-9]+", text.lower()) e depois filtre o conjunto de stopwords.
  • Ponderar -- para cada artigo, frequência do termo vezes IDF, depois normalize o vetor para comprimento unitário, para que artigos longos e curtos sejam comparados de forma justa.
  • Pontuar -- similaridade de cosseno entre o vetor da consulta e o vetor de cada artigo. Com vetores unitários, isso é só o produto escalar. Ordene de forma decrescente.

Construa duas funções sobre a lista de artigos:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) retorna a estrutura que você precisar (um dict serve). retrieve retorna uma lista de índices inteiros em docs, o melhor resultado primeiro, no máximo k deles. Você pode usar Python puro e math, ou numpy, ou o TfidfVectorizer do scikit-learn -- o que você escolher, o contrato é o mesmo. Mantenha DOCS definido no nível do módulo para que o avaliador consiga reconstruir seu índice. Clique em Run para ver algumas perguntas de suporte chegarem ao artigo certo.

Sua vez

Construa um retriever TF-IDF sobre a base de conhecimento de suporte de 8 artigos. Mantenha DOCS no nível do módulo. Escreva build_index(docs) (tokenize com remoção de stopword, pese os termos por tf*idf, normalize para vetores unitários) e retrieve(query, index, k) retornando os índices dos top-k documentos mais próximos por similaridade de cosseno, os melhores primeiro, no máximo k. Python puro, numpy ou scikit-learn funcionam.

Viu um problema nesta lição? Reporte-o · Pergunte sobre esta lição

Este exercício abre em breve

Termine a lição anterior para que esta seja desbloqueada. O curso inteiro é gratuito, não precisa de conta, e você pode ler esta lição agora mesmo.