Müfredat 250 dersinden 147. · Sıfırdan Embeddings ve Semantik Arama
Sıfırdan Embeddings ve Semantik Arama

Bir Belge Seti Üzerinde TF-IDF Retriever

Aşırı ağırlıklı yaygın kelimeleri sayar: the her yerde görünür ve bir belge hakkında hiçbir şey söylemez. TF-IDF bunu düzeltir. Bir terimin bir belgede ne sıklıkla göründüğünü (term frequency) tüm koleksiyondaki nadirlik oranıyla (inverse document frequency) çarpar. Bir belgede sık ama genel olarak nadir olan, yani onu gerçekten ayırt eden kelimeler en yüksek ağırlığı alır.

Belgelerinin TF-IDF vektörlerini bir matrise istifle, sorguyu aynı şekilde bir TF-IDF vektörüne dönüştür ve belgeleri sorguya olan kosinüs benzerliğine göre sırala. Bu tam bir retriever: hemen hemen her RAG sisteminin sözcüksel yarısı. scikit-learn sana her iki parçayı da sunar:

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs)        # fit vocab + idf on the docs
q_vec = vec.transform([query])              # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0]   # one score per doc

Çalışan bir retriever ile bozuk olanı ayıran iki detay:

  • Belgeler üzerinde fit_transform çağır ama sorgu üzerinde sadece transform çağır, böylece sorgu same kelime dağarcığına ve idf ağırlıklarına yansıtılır. Sorguyu ayrı olarak eğitmek onu farklı bir uzaya koyar ve skorlar anlamsız olur.
  • Benzerliğe göre sıralanmış en iyi k doküman indeksini döndür azalan. np.argsort artan sıralar, bu yüzden negatif skorları sırala: np.argsort(-sims).

Build retrieve(query, docs, k) TfidfVectorizer'a uygun docs'de çalışsın, her belgeye karşı cosine similarity ile query'yi puanlasın ve en benzerden başlayarak en iyi k belgenin indekslerini int listesi olarak döndürsün.

Senin sıran

Sorguya en benzer k belgelerinin indekslerini döndüren retrieve(query, docs, k) yaz. docs üzerinde bir TfidfVectorizer uydur, aynı vectorizer ile transform sorgusunu uydur, her belgeyi cosine_similarity ile puanla ve en iyi k belge indeksini azalan benzerlik sırasında bir ints listesi olarak döndür. Python hakkındaki bir sorgu ilk olarak Python belgesini döndürmeli; iadeler hakkındaki bir sorgu ilk olarak refund belgesini döndürmeli.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.