课程大纲 第 156 课,共 250 课 · 构建一个 RAG 流水线
构建一个 RAG 流水线

一个小小的向量数据库

一份文档被分块、每个文本块都变成一个向量之后,你需要一个地方来保存这些向量,以及一种方式去问"哪些保存的向量最像这个查询?"。这就是向量数据库。Pinecone、Chroma、FAISS 和 pgvector 都是这个想法的生产版本,但它的核心小到可以亲手构建,而亲手构建一次,意味着你理解了那些服务实际上在做什么。

检索指标是余弦相似度:两个向量夹角的余弦,a . b / (|a| |b|)。它奖励指向同一方向的向量,并忽略它们的长度,这正是你对文本想要的,因为一段长文和一段短文可能讲的是同一件事。接近 1 的分数意味着"方向非常相似";接近 0 意味着"不相关"。

你要构建一个类,让存储在调用之间有记忆。保护这些课程的关卡不会替换类方法,所以这里的保障是:你的 search 必须为几个不同的查询返回正确的最近邻顺序:只有真正的余弦数学才能全部答对。

import numpy as np

class VectorStore:
    def __init__(self):
        self.ids = []
        self.vectors = []

    def add(self, id, text, vector):
        self.ids.append(id)
        self.vectors.append(np.asarray(vector, dtype=float))

    def search(self, query_vec, k):
        q = np.asarray(query_vec, dtype=float)
        scored = []
        for vec_id, v in zip(self.ids, self.vectors):
            denom = np.linalg.norm(q) * np.linalg.norm(v)
            sim = float(q @ v / denom) if denom else 0.0
            scored.append((vec_id, sim))
        scored.sort(key=lambda pair: pair[1], reverse=True)
        return scored[:k]

要构建什么。实现 class VectorStore,包含:

  • add(id, text, vector),保存 id、文本和向量(把向量存成一个 numpy 浮点数组)。
  • __len__,让 len(store) 返回保存了多少项。
  • 一个 ids 属性(一个列表),让调用者能看到添加了什么。
  • search(query_vec, k),以 (id, similarity) 元组列表的形式返回前 k 个最近邻,按相似度降序排列,长度最多为 k。

对分数用 numpy.argsort 或普通的排序。按 Run 添加几个带标签的向量,看一个查询最先拉回哪些。

轮到你了

实现 class VectorStore,带有 add(id, text, vector)(保存 id、文本,以及作为 numpy 浮点数组的向量)、返回项数的 __len__、一个公开的 ids 列表,以及 search(query_vec, k),它按余弦相似度返回前 k 个 (id, similarity) 元组,最高的在前,最多 k 个。零向量必须得 0.0,而不是崩溃。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。