Bir Belge Seti Üzerinde TF-IDF Retriever
Aşırı ağırlıklı yaygın kelimeleri sayar: the her yerde görünür ve bir belge hakkında hiçbir şey söylemez. TF-IDF bunu düzeltir. Bir terimin bir belgede ne sıklıkla göründüğünü (term frequency) tüm koleksiyondaki nadirlik oranıyla (inverse document frequency) çarpar. Bir belgede sık ama genel olarak nadir olan, yani onu gerçekten ayırt eden kelimeler en yüksek ağırlığı alır.
Belgelerinin TF-IDF vektörlerini bir matrise istifle, sorguyu aynı şekilde bir TF-IDF vektörüne dönüştür ve belgeleri sorguya olan kosinüs benzerliğine göre sırala. Bu tam bir retriever: hemen hemen her RAG sisteminin sözcüksel yarısı. scikit-learn sana her iki parçayı da sunar:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
import numpy as np
vec = TfidfVectorizer()
doc_matrix = vec.fit_transform(docs) # fit vocab + idf on the docs
q_vec = vec.transform([query]) # SAME vocab for the query
sims = cosine_similarity(q_vec, doc_matrix)[0] # one score per docÇalışan bir retriever ile bozuk olanı ayıran iki detay:
- Belgeler üzerinde
fit_transformçağır ama sorgu üzerinde sadecetransformçağır, böylece sorgu same kelime dağarcığına ve idf ağırlıklarına yansıtılır. Sorguyu ayrı olarak eğitmek onu farklı bir uzaya koyar ve skorlar anlamsız olur. - Benzerliğe göre sıralanmış en iyi k doküman indeksini döndür azalan.
np.argsortartan sıralar, bu yüzden negatif skorları sırala:np.argsort(-sims).
Build retrieve(query, docs, k) TfidfVectorizer'a uygun docs'de çalışsın, her belgeye karşı cosine similarity ile query'yi puanlasın ve en benzerden başlayarak en iyi k belgenin indekslerini int listesi olarak döndürsün.
Sorguya en benzer k belgelerinin indekslerini döndüren retrieve(query, docs, k) yaz. docs üzerinde bir TfidfVectorizer uydur, aynı vectorizer ile transform sorgusunu uydur, her belgeyi cosine_similarity ile puanla ve en iyi k belge indeksini azalan benzerlik sırasında bir ints listesi olarak döndür. Python hakkındaki bir sorgu ilk olarak Python belgesini döndürmeli; iadeler hakkındaki bir sorgu ilk olarak refund belgesini döndürmeli.
Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor
Bu alıştırma yakında açılacak
Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.
Bu tarayıcı learn.floati.life için çerezleri engelliyor, bu yüzden burada bitirdiğin dersler sırasıyla açılamıyor. Bu site için çerezlere izin ver ve sayfayı yenile.