Retriever TF-IDF pada Kumpulan Dokumen
Jumlah mentah kata umum yang berlebihan: the muncul di mana-mana dan tidak memberitahumu apa pun tentang sebuah dokumen. TF-IDF memperbaiki itu. Ini mengalikan seberapa sering sebuah istilah muncul dalam dokumen (term frequency) dengan seberapa langka istilah tersebut di seluruh koleksi (inverse document frequency). Kata yang sering muncul di satu dokumen tapi jarang secara keseluruhan, kata yang benar-benar membedakannya, mendapat bobot tertinggi.
Tumpuk vektor TF-IDF dokumenmu ke dalam sebuah matriks, ubah query menjadi vektor TF-IDF dengan cara yang sama, dan urutkan dokumen berdasarkan cosine similarity ke query. Itu adalah retriever yang lengkap: bagian leksikal dari hampir setiap sistem RAG. scikit-learn memberimu kedua bagian tersebut:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docDua detail yang membedakan retriever yang berfungsi dengan yang rusak:
- Panggil
fit_transformpada dokumen tapi hanyatransformpada query, jadi query diproyeksikan ke dalam kosakata same dan bobot idf. Mencocokkan query secara terpisah akan menempatkannya di ruang yang berbeda dan skornya tidak akan berarti. - Kembalikan indeks dokumen top-k yang diurutkan berdasarkan kemiripan descending.
np.argsortmengurutkan secara ascending, jadi urutkan skor yang dinegatifkan:np.argsort(-sims).
Buat retrieve(query, docs, k) yang cocok dengan TfidfVectorizer di docs, hitung skor query terhadap setiap dokumen dengan cosine similarity, dan kembalikan indeks dari k dokumen teratas sebagai list of ints, yang paling mirip di awal.
Tulis retrieve(query, docs, k) yang mengembalikan indeks dokumen k yang paling mirip dengan query. Fit TfidfVectorizer pada docs, transform query dengan vectorizer yang sama, skor setiap dokumen dengan cosine_similarity, dan kembalikan k indeks dokumen teratas sebagai list of ints dalam urutan kemiripan menurun. Query tentang Python harus mengembalikan dokumen Python pertama; query tentang refund harus mengembalikan dokumen refund pertama.
Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini
Latihan ini akan segera dibuka
Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.
Browser ini memblokir cookie untuk learn.floati.life, jadi pelajaran yang sudah kamu selesaikan di sini tidak bisa dibuka berurutan. Izinkan cookie untuk situs ini dan muat ulang.