Lehrplan Lektion 213 von 250 · Projekt: Customer Support Copilot
Projekt: Customer Support Copilot

Indiziere die Knowledge Base

Willkommen zu deinem Vorzeigeprojekt fürs Portfolio: einem Customer Support Copilot. In vier Lektionen baust und bewertest du einen Support-Assistenten mit Retrieval (RAG) von Anfang bis Ende -- genau das System hinter dem Chat-Fenster, das "wie setze ich mein Passwort zurück?" aus den Hilfeartikeln einer Firma beantwortet, statt zu raten. Wenn du fertig bist, schreibt sich die Lebenslaufzeile von selbst: eine RAG-Pipeline und ein Eval-Harness gebaut und bewertet.

Ein RAG-System hat eine goldene Regel: Das Modell antwortet nur aus Dokumenten, die du wirklich abgerufen hast. Bevor also irgendein Sprachmodell beteiligt ist, brauchst du schnelles, genaues Retrieval. Darum geht es in dieser Lektion. Eine Personalchefin, die hier deinen Code liest, prüft eine Sache: Kannst du einen Haufen Text in etwas verwandeln, das sich gut durchsuchen lässt? TF-IDF ist eine lexikalische Methode: Sie vergleicht die Wörter, die eine Anfrage mit einem Artikel teilt, gewichtet danach, wie aussagekräftig jedes Wort ist. Sie weiß nicht, dass "refund" und "money back" dasselbe bedeuten; das bringen Embeddings (die nächsten Lektionen). Lexikalische Suche ist trotzdem die schnelle, billige Basislinie, die jedes Retrieval-System schlagen sollte.

Du baust einen kleinen TF-IDF-Retriever. Die Idee in einem Atemzug: Stell jeden Artikel als Vektor von Wortgewichten dar, wobei ein Wort mehr zählt, wenn es in diesem Artikel häufig ist (Termfrequenz), aber selten über alle Artikel (inverse Dokumentfrequenz). Vergleiche eine Anfrage mit jedem Artikel per Kosinus-Ähnlichkeit und gib die nächsten zurück.

Drei Schritte lassen es funktionieren:

  • Tokenisieren -- kleinschreiben, in Wörter aufteilen und winzige Stoppwörter wie "the" und "is" weglassen, die zu allem passen und nichts bedeuten. re.findall(r"[a-z0-9]+", text.lower()), dann gegen die Stoppwortmenge filtern.
  • Gewichten -- für jeden Artikel Termfrequenz mal IDF, dann den Vektor auf Länge eins normieren, damit lange und kurze Artikel fair verglichen werden.
  • Bewerten -- Kosinus-Ähnlichkeit zwischen dem Anfragevektor und jedem Artikelvektor. Bei Einheitsvektoren ist das einfach das Skalarprodukt. Absteigend sortieren.

Bau zwei Funktionen über die Artikelliste:

index = build_index(docs)          # precompute weights once
retrieve(query, index, k)          # -> the ids of the top-k closest docs

build_index(docs) gibt die Struktur zurück, die du brauchst (ein Dict reicht). retrieve gibt eine Liste von ganzzahligen Indizes in docs zurück, beste Übereinstimmung zuerst, höchstens k davon. Du darfst reines Python und math benutzen, oder numpy, oder TfidfVectorizer von scikit-learn -- egal wozu du greifst, der Vertrag bleibt gleich. Lass DOCS auf Modulebene definiert, damit der Prüfer deinen Index neu bauen kann. Drück auf Run, um zu sehen, wie ein paar Support-Fragen beim richtigen Artikel landen.

Du bist dran

Erstelle einen TF-IDF retriever über die 8-Artikel support knowledge base. Behalte DOCS auf Modulebene. Schreibe build_index(docs) (tokenize mit stopword removal, weight terms by tf*idf, normalize to unit vectors) und retrieve(query, index, k), die die Indizes der top-k nächsten docs nach cosine similarity zurückgeben, best first, maximal k. Plain Python, numpy oder scikit-learn funktionieren alle.

Ein Problem in dieser Lektion entdeckt? Melde es · Frage zu dieser Lektion

Diese Übung öffnet bald

Beende die vorherige Lektion, damit diese freigeschaltet wird. Der ganze Kurs ist kostenlos, kein Konto erforderlich, und du kannst diese Lektion jetzt direkt lesen.