Indeks die Knowledge Base
Welkom by jou vlagskipprojek vir jou portefeulje: 'n Customer Support Copilot. Oor vier lesse sal jy 'n herwinning-versterkte (RAG) ondersteuningsassistent van begin tot einde bou en evalueer -- presies die stelsel agter die kletsvenster wat "how do I reset my password?" uit 'n maatskappy se hulpartikels beantwoord in plaas daarvan om te raai. Wanneer jy klaar is, skryf die CV-reël homself: built and evaluated a RAG pipeline and eval harness.
A RAG-stelsel het een goue reël: die model antwoord net vanuit dokumente wat jy werklik verkry het. So voordat enige taalmodel betrokke is, het jy vinnige, akkurate retrieval nodig. Dit is hierdie les. 'n Werwingsbestuurder wat jou kode hier lees, kyk na een ding: kan jy 'n hoop teks in iets verander wat jy goed kan deursoek? TF-IDF is 'n lexical metode: dit pas die woorde wat 'n query met 'n artikel deel, gewig volgens hoe veel elke woord vertel. Dit weet nie dat "refund" en "money back" dieselfde beteken nie; dit is wat embeddings byvoeg (die volgende lesse). Lexical search is steeds die vinnige, goedkoop basiese lyn wat elke retrieval-stelsel moet oortreff.
Jy gaan 'n klein TF-IDF-ontvanger bou. Die idee in een asem: verteenwoordig elke artikel as 'n vektor van woordgewigte, waar 'n woord meer tel as dit gereeld in this-artikel voorkom (term frequency) maar skaars oor all-artikels versprei is (inverse document frequency). Vergelyk 'n query met elke artikel met cosine similarity en gee die naaste eenes terug.
Drie bewegings laat dit werk:
- Tokenize -- kleinletters, spleet in woorde, en verwyder klein stopwords soos "the" en "is" wat alles pas en niks beteken nie.
re.findall(r"[a-z0-9]+", text.lower())filter dan die stopwoordstel. - Weight -- vir elke artikel, term frequency maal IDF, dan normaliseer die vektor na eenheidlengte sodat lang en kort artikele regverdelig vergelyk.
- Score -- cosinus-ooreenkoms tussen die query-vektor en elke artikel-vektor. Met eenheidsvektore is dit net die stipproduk. Rangneem afnemend.
Bou twee funksies oor die artikellys:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) gee enige struktuur wat jy nodig het ('n dict is reg). retrieve gee 'n lys van integer indeksies na docs, beste pas eerste, maksimum k van hulle. Jy mag eenvoudige Python en math, of numpy, of scikit-learn se TfidfVectorizer gebruik. Wat dan ook jy gebruik, die kontrak is dieselfde. Hou DOCS op modulevlak gedefinieer sodat die grader jou indeks kan herbou. Druk Run om te sien hoe 'n paar ondersteuningsvrae na die regte artikel oplos.
Bou 'n TF-IDF retriever oor die 8-artikel ondersteuningskennisbasis. Hou DOCS op modulevlak. Skryf build_index(docs) (tokenize met stopwoordverwydering, weeg terme deur tf*idf, normaliseer na eenheidsvektore) en retrieve(query, index, k) wat die indekse van die top-k naaste docs volgens cosine similarity teruggee, beste eerste, maksimum k. Plat Python, numpy of scikit-learn werk almal.
Sien jy 'n probleem in hierdie les? Rapporteer dit · Vra oor hierdie les
Hierdie oefening open binnekort
Voltooi die lesie voor dit en hierdie een sal ontvanklik wees. Die hele kursus is gratis, geen rekening nodig nie, en jy kan hierdie les nou lees.
Hierdie blutser blokkeer koekies vir learn.floati.life, so lesse wat jy hier voltooi het kan nie in volgorde oopgaan nie. Laat koekies vir hierdie webwerf toe en laai nuut.