Индексация базы знаний
Добро пожаловать в главный проект вашего портфолио: Customer Support Copilot. За четыре урока вы построите и оцените от начала до конца ассистента поддержки с извлечением (RAG): ту самую систему, что стоит за окном чата и отвечает на «как сбросить пароль?» по справочным статьям компании, а не наугад. Когда закончите, строка для резюме напишется сама: построил и оценил RAG-конвейер и систему оценки.
СистемаA RAG имеет одно золотое правило: модель отвечает только из документов, которые вы реально извлекли. Поэтому перед тем как подключать любую языковую модель, вам нужно быстрое и точное retrieval. Это и есть этот урок. Менеджер по найму, читающий ваш код здесь, проверяет одну вещь: можете ли вы превратить кучу текста в нечто, что можно хорошо найти? TF-IDF это lexical метод: он сопоставляет слова, которые запрос имеет общими с статьей, взвешивая их по тому, насколько каждое слово информативно. Он не знает, что "refund" и "money back" означают одно и то же; это то, что добавляют embeddings (следующие уроки). Lexical search все еще является быстрым и дешевым baseline, который должна побить каждая система retrieval.
Вы построите небольшой TF-IDF ретривер. Идея вкратце: представьте каждую статью как вектор весов слов, где слово весит больше, если оно часто встречается в this статье (term frequency), но редко во all статьях (inverse document frequency). Сравните запрос с каждой статьей с помощью cosine similarity и верните ближайшие.
Три шага делают это работающим:
- Tokenize -- приведение к нижнему регистру, разделение на слова и удаление маленьких stopwords типа "the" и "is", которые совпадают со всем и не значат ничего.
re.findall(r"[a-z0-9]+", text.lower())затем фильтрация набора стоп-слов. - Weight -- для каждой статьи частота термина умножается на IDF, затем вектор нормализуется до единичной длины, чтобы длинные и короткие статьи сравнивались справедливо.
- Score -- косинусное сходство между вектором запроса и вектором каждой статьи. С единичными векторами это просто скалярное произведение. Сортировка по убыванию.
Создайте две функции для списка articles:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) возвращает любую структуру, которая вам нужна (словарь тоже подойдет). retrieve возвращает список целочисленных индексов docs, лучший вариант первым, максимум k штук. Вы можете использовать обычный Python и math, или numpy, или TfidfVectorizer из scikit-learn -- что бы вы ни выбрали, условия остаются теми же. Держите DOCS определенным на уровне модуля, чтобы проверяющий мог восстановить ваш индекс. Нажмите Run, чтобы увидеть, как несколько вспомогательных вопросов превращаются в правильную статью.
Создайте TF-IDF retriever на базе базы знаний из 8 статей. Оставьте DOCS на уровне модуля. Напишите build_index(docs) (tokenize с удалением стоп-слов, weight терминов по tf*idf, нормализация до unit vectors) и retrieve(query, index, k) возвращающий индексы top-k ближайших документов по cosine similarity, сначала лучшие, максимум k. Обычный Python, numpy или scikit-learn подойдут.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.