TF-IDF Retriever по набору документов
Сырые счеты переоценивают часто встречающиеся слова: the встречается везде и ничего не говорит о документе. TF-IDF исправляет это. Он умножает то, как часто термин встречается в документе (term frequency), на то, насколько редко этот термин встречается во всей коллекции (обратная частота документа). Слова, которые часто встречаются в одном документе, но редки в целом, слова, которые реально отличают его, получают самый высокий вес.
Сложите векторы TF-IDF ваших документов в матрицу, превратите запрос в вектор TF-IDF таким же способом и ранжируйте документы по косинусному сходству с запросом. Это полноценный retriever: лексическая половина почти каждой системы RAG. scikit-learn дает вам обе части:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docДве детали, которые отличают рабочий retriever от сломанного:
- Вызовите
fit_transformна документах, но толькоtransformна запросе, поэтому запрос проецируется в same словарь и веса idf. Обучение запроса отдельно поместило бы его в другое пространство, и оценки были бы бессмысленными. - Верните индексы топ-k документов, отсортированных по сходству descending.
np.argsortсортирует по возрастанию, поэтому отсортируйте отрицательные оценки:np.argsort(-sims).
Build retrieve(query, docs, k), который подходит к TfidfVectorizer на docs, считает query для каждого документа с помощью cosine similarity и возвращает индексы k документов как list из ints, начиная с наиболее похожих.
Напишите retrieve(query, docs, k), который возвращает индексы k документов, наиболее похожих на запрос. Обучите TfidfVectorizer на docs, transform запрос с тем же vectorizer, оцените каждый документ с помощью cosine_similarity и верните индексы k лучших документов в виде list из ints в порядке убывания сходства. Запрос о Python должен возвращать документ Python первым; запрос о возвратах должен возвращать документ refund первым.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.