Маленькое хранилище векторов
Когда документ разделен на части и каждая часть превращена в вектор, вам нужно место для хранения этих векторов и способ спросить "какие из сохраненных векторов больше всего похожи на этот запрос?". Это vector store. Pinecone, Chroma, FAISS и pgvector это производственные версии этой идеи, но ядро достаточно маленькое, чтобы собрать его вручную, а создание его один раз означает, что вы понимаете, что именно делают эти сервисы.
Метрика извлечения - это cosine similarity: косинус угла между двумя векторами, a . b / (|a| |b|). Она поощряет векторы, которые направлены в одну сторону, и игнорирует их длину. Это именно то, что нужно для текста, где длинный и короткий фрагменты могут быть о том же самом. Оценка около 1 означает очень похожее направление, около 0 означает не связано.
Вы построите класс, чтобы магазин имел память между вызовами. Заслонка, которая защищает эти уроки, не подменяет методы класса, поэтому предосторожность здесь в том, что ваш search должен возвращать правильный порядок ближайших соседей для нескольких разных запросов: только реальная математика косинуса дает все правильные ответы.
import numpy as np
class VectorStore:
def __init__(self):
self.ids = []
self.vectors = []
def add(self, id, text, vector):
self.ids.append(id)
self.vectors.append(np.asarray(vector, dtype=float))
def search(self, query_vec, k):
q = np.asarray(query_vec, dtype=float)
scored = []
for vec_id, v in zip(self.ids, self.vectors):
denom = np.linalg.norm(q) * np.linalg.norm(v)
sim = float(q @ v / denom) if denom else 0.0
scored.append((vec_id, sim))
scored.sort(key=lambda pair: pair[1], reverse=True)
return scored[:k]Что строить. Реализовать class VectorStore с:
add(id, text, vector)сохраняем id, текст и вектор (сохраняйте вектор как numpy array из float).__len__такlen(store)возвращает количество сохраненных элементов.- an
idsатрибут (a list), чтобы вызывающие функции видели, что было добавлено. search(query_vec, k)возвращает k ближайших соседей в виде списка(id, similarity)кортежей, отсортированных по убыванию сходства, с ограничением длиныk.
Используйте numpy.argsort или обычную сортировку по scores. Нажмите Run чтобы добавить несколько помеченных векторов и посмотреть какие из них запрос выдает первыми.
Реализуйте class VectorStore с add(id, text, vector) (сохраните id, text и вектор как numpy float array), __len__ возвращающим количество элементов, публичный ids list и search(query_vec, k) возвращающим топ-kZ (id, similarity) кортежей по косинусному сходству, сначала самые высокие, ограничено k. Нулевой вектор должен давать оценку 0.0 и не вызывать ошибку.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.