Müfredat 250 dersinden 213. · Proje: Müşteri Desteği Copilotu
Proje: Müşteri Desteği Copilotu

Bilgi Tabanını İndeksle

Amiral gemisi portföy projene hoş geldin: bir Müşteri Destek Yardımcı Pilotu. Dört ders boyunca, erişimle güçlendirilmiş (RAG) bir destek asistanını baştan sona kuracak ve değerlendireceksin -- "şifremi nasıl sıfırlarım?" sorusunu tahmin etmek yerine bir şirketin yardım makalelerinden cevaplayan sohbet penceresinin arkasındaki sistemin ta kendisi. Bitirdiğinde özgeçmiş satırı kendini yazar: bir RAG hattı ve değerlendirme düzeneği kurup değerlendirdi.

Bir RAG sisteminin tek bir altın kuralı vardır: model yalnızca gerçekten getirdiğin belgelerden cevap verir. Bu yüzden herhangi bir dil modeli işin içine girmeden önce hızlı, doğru erişime ihtiyacın var. Bu ders o. Buradaki kodunu okuyan bir işe alım yöneticisi tek bir şeyi kontrol ediyor: bir metin yığınını iyi arayabileceğin bir şeye çevirebiliyor musun? TF-IDF sözcüksel bir yöntemdir: bir sorgunun bir makaleyle paylaştığı kelimeleri, her kelimenin ne kadar ayırt edici olduğuna göre ağırlıklandırarak eşleştirir. "refund" ve "money back"in aynı şeyi anlattığını bilmez; bunu gömmeler ekler (sonraki dersler). Sözcüksel arama yine de her erişim sisteminin yenmesi gereken hızlı, ucuz temel çizgidir.

Küçük bir TF-IDF getiricisi kuracaksın. Tek nefeste fikir: her makaleyi bir kelime ağırlıkları vektörü olarak temsil et; bir kelime bu makalede sıksa (terim sıklığı) ama bütün makalelerde nadirse (ters belge sıklığı) daha çok sayılır. Bir sorguyu her makaleyle kosinüs benzerliği ile karşılaştır ve en yakın olanları döndür.

Üç hamle onu çalıştırır:

  • Token'lara ayır -- küçük harfe çevir, kelimelere böl, ve her şeyle eşleşen ve hiçbir şey ifade etmeyen "the" ve "is" gibi küçük durak kelimelerini at. re.findall(r"[a-z0-9]+", text.lower()) sonra durak kelimesi kümesini filtrele.
  • Ağırlıklandır -- her makale için terim sıklığı çarpı IDF, sonra uzun ve kısa makaleler adil karşılaştırılsın diye vektörü birim uzunluğa normalleştir.
  • Puanla -- sorgu vektörü ile her makale vektörü arasındaki kosinüs benzerliği. Birim vektörlerle bu yalnızca iç çarpımdır. Azalan sırada sırala.

Makale listesi üzerinde iki fonksiyon kur:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) ihtiyacın olan yapıyı döndürür (bir sözlük yeterli). retrieve bir docs'a tam sayı indisler listesi döndürür, en iyi eşleşme önce, en fazla k tane. Düz Python ve math, ya da numpy, ya da scikit-learn'ün TfidfVectorizer'ını kullanabilirsin -- neye uzanırsan uzan, sözleşme aynı. Notlayıcı dizinini yeniden kurabilsin diye DOCS'u modül düzeyinde tanımlı tut. Birkaç destek sorusunun doğru makaleye çözüldüğünü izlemek için Çalıştır'a bas.

Senin sıran

8 makalelik destek bilgi tabanı üzerinde bir TF-IDF retriever oluştur. DOCS ifadesini modül seviyesinde tut. build_index(docs) (stopword temizleme ile tokenize et, terimleri tf*idf ile ağırlıklandır, birim vektörlere normalize et) ve en yakın k adet belgenin indislerini döndüren retrieve(query, index, k) yaz. Cosine similarity kullan, en iyiyi önce getir, en fazla k. Saf Python, numpy veya scikit-learn hepsinin olur.

Bu derste bir sorun mu fark ettin? Bildir · Bu ders hakkında soru sor

Bu alıştırma yakında açılacak

Bu dersi bitirince bu ders açılacak. Kursun tamamı ücretsiz, hesap gerekmiyor ve bu dersi hemen şimdi okuyabilirsin.