Một vector store tí hon
Khi một tài liệu đã được chia đoạn và mỗi đoạn được biến thành một vector, bạn cần một chỗ để giữ các vector đó và một cách để hỏi "những vector đã lưu nào chỉ giống truy vấn này nhất?" Đó là một vector store. Pinecone, Chroma, FAISS và pgvector là các phiên bản dùng thật của ý tưởng này, nhưng phần cốt lõi đủ nhỏ để tự xây, và xây một lần nghĩa là bạn hiểu các dịch vụ đó thật sự đang làm gì.
Thước đo truy xuất là độ tương đồng cosine: cosine của góc giữa hai vector, a . b / (|a| |b|). Nó thưởng cho các vector chỉ cùng hướng và bỏ qua độ dài của chúng, đúng điều bạn muốn với văn bản, nơi một đoạn dài và một đoạn ngắn có thể nói về cùng một thứ. Điểm gần 1 nghĩa là "hướng rất giống nhau"; gần 0 nghĩa là "không liên quan".
Bạn sẽ xây một lớp để store có bộ nhớ giữa các lần gọi. Cổng bảo vệ các bài học này không giả lập các phương thức của lớp, nên biện pháp bảo vệ ở đây là search của bạn phải trả về đúng thứ tự láng giềng gần nhất cho nhiều truy vấn khác nhau: chỉ phép toán cosine thật mới đúng được tất cả.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]Cần xây gì. Cài đặt class VectorStore với:
add(id, text, vector)lưu id, văn bản, và vector (lưu vector dưới dạng một mảng float numpy).__len__đểlen(store)trả về số mục đã lưu.- một thuộc tính
ids(một list) để nơi gọi thấy được những gì đã được thêm. search(query_vec, k)trả về k láng giềng gần nhất dưới dạng một list các tuple(id, similarity)sắp theo độ tương đồng giảm dần, độ dài tối đak.
Dùng numpy.argsort hoặc một phép sắp xếp thường trên các điểm. Bấm Chạy để thêm vài vector có nhãn và xem truy vấn kéo cái nào về trước.
Cài đặt class VectorStore với add(id, text, vector) (lưu id, văn bản, và vector dưới dạng một mảng float numpy), __len__ trả về số mục, một list ids công khai, và search(query_vec, k) trả về k tuple (id, similarity) hàng đầu theo độ tương đồng cosine, cao nhất trước, tối đa k. Một vector không phải được điểm 0.0, không bị sập.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.