Программа курса Урок 147 из 250 · Эмбеддинги и семантический поиск с нуля
Эмбеддинги и семантический поиск с нуля

TF-IDF Retriever по набору документов

Сырые счеты переоценивают часто встречающиеся слова: the встречается везде и ничего не говорит о документе. TF-IDF исправляет это. Он умножает то, как часто термин встречается в документе (term frequency), на то, насколько редко этот термин встречается во всей коллекции (обратная частота документа). Слова, которые часто встречаются в одном документе, но редки в целом, слова, которые реально отличают его, получают самый высокий вес.

Сложите векторы TF-IDF ваших документов в матрицу, превратите запрос в вектор TF-IDF таким же способом и ранжируйте документы по косинусному сходству с запросом. Это полноценный retriever: лексическая половина почти каждой системы RAG. scikit-learn дает вам обе части:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Две детали, которые отличают рабочий retriever от сломанного:

  • Вызовите fit_transform на документах, но только transform на запросе, поэтому запрос проецируется в same словарь и веса idf. Обучение запроса отдельно поместило бы его в другое пространство, и оценки были бы бессмысленными.
  • Верните индексы топ-k документов, отсортированных по сходству descending. np.argsort сортирует по возрастанию, поэтому отсортируйте отрицательные оценки: np.argsort(-sims).

Build retrieve(query, docs, k), который подходит к TfidfVectorizer на docs, считает query для каждого документа с помощью cosine similarity и возвращает индексы k документов как list из ints, начиная с наиболее похожих.

Твоя очередь

Напишите retrieve(query, docs, k), который возвращает индексы k документов, наиболее похожих на запрос. Обучите TfidfVectorizer на docs, transform запрос с тем же vectorizer, оцените каждый документ с помощью cosine_similarity и верните индексы k лучших документов в виде list из ints в порядке убывания сходства. Запрос о Python должен возвращать документ Python первым; запрос о возвратах должен возвращать документ refund первым.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.