Bộ truy xuất TF-IDF trên một tập tài liệu
Số đếm thô đặt trọng số quá cao cho các từ phổ biến: the xuất hiện khắp nơi và không cho bạn biết gì về một tài liệu. TF-IDF sửa điều đó. Nó nhân tần suất một thuật ngữ xuất hiện trong một tài liệu (tần suất thuật ngữ) với độ hiếm của thuật ngữ đó trên toàn bộ tập (tần suất tài liệu nghịch đảo). Những từ xuất hiện nhiều trong một tài liệu nhưng hiếm trên tổng thể, những từ thật sự phân biệt nó, nhận trọng số cao nhất.
Xếp các vector TF-IDF của tài liệu thành một ma trận, biến truy vấn thành một vector TF-IDF theo cùng cách, và xếp hạng tài liệu theo độ tương đồng cosine với truy vấn. Đó là một bộ truy xuất hoàn chỉnh: nửa từ vựng của gần như mọi hệ thống RAG. scikit-learn cho bạn cả hai mảnh:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docHai chi tiết phân biệt một bộ truy xuất chạy được với một cái hỏng:
- Gọi
fit_transformtrên các tài liệu nhưng chỉtransformtrên truy vấn, để truy vấn được chiếu vào cùng bộ từ vựng và trọng số idf. Fit truy vấn riêng sẽ đặt nó vào một không gian khác và các điểm số sẽ vô nghĩa. - Trả về top-k chỉ số tài liệu được sắp theo độ tương đồng giảm dần.
np.argsortsắp tăng dần, nên hãy sắp các điểm số đã đổi dấu:np.argsort(-sims).
Xây retrieve(query, docs, k) fit một TfidfVectorizer trên docs, chấm điểm query với mọi tài liệu bằng độ tương đồng cosine, và trả về chỉ số của k tài liệu đứng đầu dưới dạng list các int, giống nhất trước.
Viết retrieve(query, docs, k) trả về chỉ số của k tài liệu giống truy vấn nhất. Fit một TfidfVectorizer trên docs, transform truy vấn bằng cùng vectorizer, chấm điểm mọi tài liệu bằng cosine_similarity, và trả về top k chỉ số tài liệu dưới dạng list các int theo thứ tự độ tương đồng giảm dần. Một truy vấn về Python phải trả về tài liệu Python trước; một truy vấn về hoàn tiền phải trả về tài liệu hoàn tiền trước.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.