Программа курса Урок 156 из 250 · Создайте RAG Pipeline
Создайте RAG Pipeline

Маленькое хранилище векторов

Когда документ разделен на части и каждая часть превращена в вектор, вам нужно место для хранения этих векторов и способ спросить "какие из сохраненных векторов больше всего похожи на этот запрос?". Это vector store. Pinecone, Chroma, FAISS и pgvector это производственные версии этой идеи, но ядро достаточно маленькое, чтобы собрать его вручную, а создание его один раз означает, что вы понимаете, что именно делают эти сервисы.

Метрика извлечения - это cosine similarity: косинус угла между двумя векторами, a . b / (|a| |b|). Она поощряет векторы, которые направлены в одну сторону, и игнорирует их длину. Это именно то, что нужно для текста, где длинный и короткий фрагменты могут быть о том же самом. Оценка около 1 означает очень похожее направление, около 0 означает не связано.

Вы построите класс, чтобы магазин имел память между вызовами. Заслонка, которая защищает эти уроки, не подменяет методы класса, поэтому предосторожность здесь в том, что ваш search должен возвращать правильный порядок ближайших соседей для нескольких разных запросов: только реальная математика косинуса дает все правильные ответы.

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

Что строить. Реализовать class VectorStore с:

  • add(id, text, vector) сохраняем id, текст и вектор (сохраняйте вектор как numpy array из float).
  • __len__ так len(store) возвращает количество сохраненных элементов.
  • an ids атрибут (a list), чтобы вызывающие функции видели, что было добавлено.
  • search(query_vec, k) возвращает k ближайших соседей в виде списка (id, similarity) кортежей, отсортированных по убыванию сходства, с ограничением длины k.

Используйте numpy.argsort или обычную сортировку по scores. Нажмите Run чтобы добавить несколько помеченных векторов и посмотреть какие из них запрос выдает первыми.

Твоя очередь

Реализуйте class VectorStore с add(id, text, vector) (сохраните id, text и вектор как numpy float array), __len__ возвращающим количество элементов, публичный ids list и search(query_vec, k) возвращающим топ-kZ (id, similarity) кортежей по косинусному сходству, сначала самые высокие, ограничено k. Нулевой вектор должен давать оценку 0.0 и не вызывать ошибку.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.