Temario Lección 213 de 250 · Proyecto: copiloto de atención al cliente
Proyecto: copiloto de atención al cliente

Indexa la base de conocimiento

Bienvenido a tu proyecto estrella del portafolio: un copiloto de atención al cliente. A lo largo de cuatro lecciones construirás y evaluarás de principio a fin un asistente de soporte con generación aumentada por recuperación (RAG): exactamente el sistema que hay detrás del widget de chat que responde "¿cómo restablezco mi contraseña?" a partir de los artículos de ayuda de una empresa en lugar de adivinar. Cuando termines, la línea del currículum se escribe sola: construí y evalué una canalización RAG y un banco de evaluación.

Un sistema RAG tiene una regla de oro: el modelo solo responde a partir de documentos que de verdad recuperaste. Así que, antes de que intervenga ningún modelo de lenguaje, necesitas una recuperación rápida y precisa. Eso es esta lección. Quien te contrate y lea tu código aquí comprobará una cosa: ¿sabes convertir un montón de texto en algo en lo que se pueda buscar bien? TF-IDF es un método léxico: coincide en las palabras que una consulta comparte con un artículo, ponderadas según lo reveladora que sea cada palabra. No sabe que "refund" y "money back" significan lo mismo; eso es lo que añaden los embeddings (las próximas lecciones). La búsqueda léxica sigue siendo la referencia rápida y barata que todo sistema de recuperación debería superar.

Construirás un pequeño recuperador TF-IDF. La idea en un suspiro: representa cada artículo como un vector de pesos de palabras, donde una palabra cuenta más si es frecuente en este artículo (frecuencia del término) pero rara en todos los artículos (frecuencia inversa de documento). Compara una consulta con cada artículo mediante la similitud coseno y devuelve los más cercanos.

Tres pasos lo hacen funcionar:

  • Tokenizar: pasa a minúsculas, divide en palabras y quita las pequeñas palabras vacías como "the" e "is", que coinciden con todo y no significan nada. re.findall(r"[a-z0-9]+", text.lower()) y luego filtra el conjunto de palabras vacías.
  • Ponderar: para cada artículo, frecuencia del término por IDF, y luego normaliza el vector a longitud unitaria para que los artículos largos y cortos se comparen con justicia.
  • Puntuar: similitud coseno entre el vector de la consulta y el vector de cada artículo. Con vectores unitarios es simplemente el producto escalar. Ordena de forma descendente.

Construye dos funciones sobre la lista de artículos:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) devuelve la estructura que necesites (un dict sirve). retrieve devuelve una lista de índices enteros de docs, la mejor coincidencia primero, como mucho k. Puedes usar Python simple y math, o numpy, o el TfidfVectorizer de scikit-learn: uses lo que uses, el contrato es el mismo. Mantén DOCS definido a nivel de módulo para que el evaluador pueda reconstruir tu índice. Pulsa Ejecutar para ver cómo unas cuantas preguntas de soporte se resuelven en el artículo correcto.

Tu turno

Construye un recuperador TF-IDF sobre la base de conocimiento de soporte de 8 artículos. Mantén DOCS a nivel de módulo. Escribe build_index(docs) (tokeniza quitando las palabras vacías, pondera los términos por tf*idf, normaliza a vectores unitarios) y retrieve(query, index, k), que devuelva los índices de los k documentos más cercanos por similitud coseno, el mejor primero, como mucho k. Funcionan Python simple, numpy o scikit-learn.

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.