Silabus Pelajaran 147 dari 250 · Embeddings & Semantic Search dari Nol
Embeddings & Semantic Search dari Nol

Retriever TF-IDF pada Kumpulan Dokumen

Jumlah mentah kata umum yang berlebihan: the muncul di mana-mana dan tidak memberitahumu apa pun tentang sebuah dokumen. TF-IDF memperbaiki itu. Ini mengalikan seberapa sering sebuah istilah muncul dalam dokumen (term frequency) dengan seberapa langka istilah tersebut di seluruh koleksi (inverse document frequency). Kata yang sering muncul di satu dokumen tapi jarang secara keseluruhan, kata yang benar-benar membedakannya, mendapat bobot tertinggi.

Tumpuk vektor TF-IDF dokumenmu ke dalam sebuah matriks, ubah query menjadi vektor TF-IDF dengan cara yang sama, dan urutkan dokumen berdasarkan cosine similarity ke query. Itu adalah retriever yang lengkap: bagian leksikal dari hampir setiap sistem RAG. scikit-learn memberimu kedua bagian tersebut:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Dua detail yang membedakan retriever yang berfungsi dengan yang rusak:

  • Panggil fit_transform pada dokumen tapi hanya transform pada query, jadi query diproyeksikan ke dalam kosakata same dan bobot idf. Mencocokkan query secara terpisah akan menempatkannya di ruang yang berbeda dan skornya tidak akan berarti.
  • Kembalikan indeks dokumen top-k yang diurutkan berdasarkan kemiripan descending. np.argsort mengurutkan secara ascending, jadi urutkan skor yang dinegatifkan: np.argsort(-sims).

Buat retrieve(query, docs, k) yang cocok dengan TfidfVectorizer di docs, hitung skor query terhadap setiap dokumen dengan cosine similarity, dan kembalikan indeks dari k dokumen teratas sebagai list of ints, yang paling mirip di awal.

Giliranku

Tulis retrieve(query, docs, k) yang mengembalikan indeks dokumen k yang paling mirip dengan query. Fit TfidfVectorizer pada docs, transform query dengan vectorizer yang sama, skor setiap dokumen dengan cosine_similarity, dan kembalikan k indeks dokumen teratas sebagai list of ints dalam urutan kemiripan menurun. Query tentang Python harus mengembalikan dokumen Python pertama; query tentang refund harus mengembalikan dokumen refund pertama.

Ada masalah di pelajaran ini? Laporkan · Tanya tentang pelajaran ini

Latihan ini akan segera dibuka

Selesaikan pelajaran sebelumnya agar pelajaran ini terbuka. Seluruh kursus ini gratis, tidak butuh akun, dan kamu bisa baca pelajaran ini sekarang.