Indicizzare la base di conoscenza
Benvenuto nella costruzione di punta del tuo portfolio: un copilota per l'assistenza clienti. In quattro lezioni costruirai e valuterai dall'inizio alla fine un assistente di supporto con recupero (RAG), esattamente il sistema dietro il widget di chat che risponde a "come reimposto la password?" partendo dagli articoli di aiuto di un'azienda invece di tirare a indovinare. Quando finisci, la riga del curriculum si scrive da sola: ho costruito e valutato una pipeline RAG e un banco di valutazione.
Un sistema RAG ha una regola d'oro: il modello risponde solo da documenti che hai davvero recuperato. Quindi prima che entri in gioco qualsiasi modello linguistico, ti serve un recupero veloce e preciso. È questa lezione. Un responsabile delle assunzioni che legge qui il tuo codice controlla una cosa: sai trasformare un mucchio di testo in qualcosa in cui si cerca bene? Il TF-IDF è un metodo lessicale: fa corrispondere le parole che una query condivide con un articolo, pesate da quanto è significativa ogni parola. Non sa che "refund" e "money back" significano la stessa cosa; è ciò che aggiungono gli embedding (le prossime lezioni). La ricerca lessicale resta comunque il punto di partenza veloce ed economico che ogni sistema di recupero dovrebbe battere.
Costruirai un piccolo recuperatore TF-IDF. L'idea in un respiro: rappresenta ogni articolo come un vettore di pesi delle parole, dove una parola conta di più se è frequente in questo articolo (frequenza del termine) ma rara in tutti gli articoli (frequenza inversa del documento). Confronta una query con ogni articolo con la similarità del coseno e restituisci i più vicini.
Tre mosse lo fanno funzionare:
- Tokenizza: metti in minuscolo, dividi in parole, e togli le piccole parole vuote come "the" e "is" che corrispondono a tutto e non significano niente.
re.findall(r"[a-z0-9]+", text.lower())poi filtra con l'insieme delle parole vuote. - Pesa: per ogni articolo, frequenza del termine per IDF, poi normalizza il vettore a lunghezza unitaria così articoli lunghi e corti si confrontano in modo equo.
- Dai un punteggio: similarità del coseno tra il vettore della query e ogni vettore di articolo. Con vettori unitari è solo il prodotto scalare. Ordina in modo decrescente.
Costruisci due funzioni sulla lista degli articoli:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) restituisce qualsiasi struttura ti serva (va bene un dict). retrieve restituisce una lista di indici interi in docs, dalla migliore corrispondenza, al massimo k. Puoi usare semplice Python e math, o numpy, o il TfidfVectorizer di scikit-learn: qualunque cosa scegli, il contratto è lo stesso. Tieni DOCS definito a livello di modulo così il correttore può ricostruire il tuo indice. Premi Run per guardare qualche domanda di assistenza trovare l'articolo giusto.
Costruisci un recuperatore TF-IDF sulla base di conoscenza di assistenza di 8 articoli. Tieni DOCS a livello di modulo. Scrivi build_index(docs) (tokenizza togliendo le parole vuote, pesa i termini con tf*idf, normalizza in vettori unitari) e retrieve(query, index, k) che restituisce gli indici dei primi k documenti più vicini per similarità del coseno, dal migliore, al massimo k. Vanno bene semplice Python, numpy o scikit-learn.
Hai notato un problema in questa lezione? Segnalalo · Chiedi qualcosa su questa lezione
Questo esercizio si apre presto
Finisci la lezione precedente e questa si sblocca. L'intero corso è gratuito, senza account, e puoi leggere questa lezione subito.
Questo browser blocca i cookie per learn.floati.life, quindi le lezioni che hai finito qui non si possono aprire in ordine. Consenti i cookie per questo sito e ricarica.