Indexeer de Knowledge Base
Welkom bij je vlaggenschip voor je portfolio: een copiloot voor klantenservice. In vier lessen bouw en evalueer je van begin tot eind een supportassistent met retrieval-augmented generation (RAG) -- precies het systeem achter de chatwidget die "hoe reset ik mijn wachtwoord?" beantwoordt uit de helpartikelen van een bedrijf in plaats van te gokken. Als je klaar bent, schrijft de cv-regel zichzelf: bouwde en evalueerde een RAG-pijplijn en een eval-harnas.
Een RAG-systeem heeft één gouden regel: het model antwoordt alleen uit documenten die je echt hebt opgehaald. Dus voordat er een taalmodel aan te pas komt, heb je snel en nauwkeurig ophalen nodig. Dat is deze les. Een recruiter die hier je code leest, controleert één ding: kun je een stapel tekst omzetten in iets waarin je goed kunt zoeken? TF-IDF is een lexicale methode: hij koppelt de woorden die een zoekvraag met een artikel deelt, gewogen naar hoe veelzeggend elk woord is. Hij weet niet dat "refund" en "money back" hetzelfde betekenen; dat voegen embeddings toe (de volgende lessen). Lexicaal zoeken is nog steeds de snelle, goedkope basislijn die elk zoeksysteem moet verslaan.
Je bouwt een kleine TF-IDF-zoeker. Het idee in één adem: stel elk artikel voor als een vector van woordgewichten, waarin een woord zwaarder telt als het vaak voorkomt in dit artikel (termfrequentie) maar zeldzaam is in alle artikelen (inverse documentfrequentie). Vergelijk een zoekvraag met elk artikel via cosinusgelijkenis en geef de dichtstbijzijnde terug.
Drie stappen laten het werken:
- Tokeniseren -- zet in kleine letters, splits in woorden en laat kleine stopwoorden zoals "the" en "is" weg, die overal op passen en niets betekenen.
re.findall(r"[a-z0-9]+", text.lower())en filter daarna de set stopwoorden. - Wegen -- voor elk artikel termfrequentie maal IDF, en normaliseer de vector dan naar lengte één, zodat lange en korte artikelen eerlijk vergeleken worden.
- Scoren -- cosinusgelijkenis tussen de vector van de zoekvraag en die van elk artikel. Met eenheidsvectoren is dat gewoon het inwendig product. Sorteer aflopend.
Bouw twee functies over de lijst artikelen:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) geeft de structuur terug die je nodig hebt (een dict is prima). retrieve geeft een lijst gehele indexen in docs terug, de beste eerst, hoogstens k stuks. Je mag gewone Python en math gebruiken, of numpy, of TfidfVectorizer van scikit-learn -- wat je ook pakt, het contract blijft hetzelfde. Houd DOCS op moduleniveau gedefinieerd, zodat de beoordelaar je index opnieuw kan bouwen. Druk op Run om een paar supportvragen bij het juiste artikel uit te zien komen.
Bouw een TF-IDF retriever over de kennisbasis van 8 artikelen. Houd DOCS op moduleniveau. Schrijf build_index(docs) (tokenize met stopwoordverwijdering, weeg termen door tf*idf, normaliseer naar eenheidsvectoren) en retrieve(query, index, k) die de indices van de top-k dichtstbijzijnde docs teruggeeft door cosine similarity, best first, maximaal k. Gewone Python, numpy of scikit-learn werken allemaal.
Een probleem ontdekt in deze les? Meld het · Vraag naar deze les
Deze oefening opent binnenkort
Maak de les ervoor af voordat deze wordt ontgrendeld. De hele cursus is gratis, geen account nodig, en je kunt deze les nu lezen.
Deze browser blokkeert cookies voor learn.floati.life, dus lessen die je hier hebt afgerond kunnen niet in de juiste volgorde worden geopend. Sta cookies toe voor deze site en laad de pagina opnieuw.