Temario Lección 155 de 250 · Construye una canalización RAG
Construye una canalización RAG

Crea los embeddings de los fragmentos

Tienes fragmentos de texto. Sin embargo, el recuperador compara vectores, no palabras, así que el paso que falta es el embedding: convertir cada fragmento en una lista de números de longitud fija, de modo que el texto con contenido parecido quede en coordenadas parecidas. Este es el "embed" prometido en la canalización (chunk -> embed -> store -> retrieve -> prompt), y es lo que alimenta VectorStore.add(id, text, vector) en la próxima lección.

Los sistemas de producción llaman a un modelo neuronal de embeddings (OpenAI, Cohere, un sentence-transformer) por la red, pero el contrato es idéntico y puedes construir un embedder real y determinista sin conexión para aprenderlo: un vector de bolsa de palabras. Fija un vocab (las palabras que te importan) y representa un texto por cuántas veces aparece en él cada palabra del vocabulario.

vocab = ["cat", "dog", "fish"]
# "cat cat dog" -> [2, 1, 0]   (two cats, one dog, no fish)

Un paso más los hace útiles para la búsqueda por coseno: normalizar con L2 el vector (dividirlo por su propia longitud, np.linalg.norm). Después de eso todos los vectores tienen longitud 1, así que la similitud coseno se convierte en un simple producto escalar y los fragmentos largos dejan de dominar a los cortos solo por tener más palabras. Un fragmento que no contiene ninguna palabra del vocabulario no tiene nada que normalizar, así que deja ese vector de ceros como está (nunca dividas por cero).

Construye dos funciones.

  • build_vocab(chunks) -> la lista ordenada de palabras únicas de todos los fragmentos. Tokeniza cada fragmento con text.lower().split() (minúsculas, dividir por los espacios).
  • embed(text, vocab) -> un array float de numpy de longitud len(vocab): el recuento de cada palabra del vocabulario en text (mismo tokenizador), normalizado después con L2. Si todos los recuentos son cero, devuelve el vector cero sin cambios.

Pulsa Ejecutar para crear los embeddings de unos cuantos fragmentos y confirmar que el texto relacionado apunta en la misma dirección.

Tu turno

Escribe build_vocab(chunks), que devuelva las palabras únicas ordenadas de todos los fragmentos (tokeniza con text.lower().split()), y embed(text, vocab), que devuelva un array float de numpy de longitud len(vocab) con el recuento de cada palabra del vocabulario en text (mismo tokenizador), normalizado con L2 usando np.linalg.norm. Si todos los recuentos son cero, devuelve el vector de ceros sin cambios (no dividas por cero).

¿Has visto un problema en esta lección? Avísanos · Preguntar sobre esta lección

Este ejercicio se abre pronto

Termina la lección anterior y esta se desbloquea. Todo el curso es gratis, no hace falta cuenta, y puedes leer esta lección ahora mismo.