Lập chỉ mục cho Knowledge Base
Chào mừng tới dự án chủ lực trong hồ sơ của bạn: một Trợ lý hỗ trợ khách hàng (Customer Support Copilot). Qua bốn bài bạn sẽ xây và đánh giá trọn vẹn một trợ lý hỗ trợ tăng cường bằng truy xuất (RAG), chính là hệ thống đằng sau khung trò chuyện trả lời "làm sao để đặt lại mật khẩu?" từ các bài viết trợ giúp của một công ty thay vì đoán. Khi bạn xong, dòng trong CV tự viết ra: đã xây và đánh giá một đường ống RAG và một bộ khung đánh giá.
Một hệ thống RAG có một quy tắc vàng: mô hình chỉ trả lời từ các tài liệu bạn thật sự đã truy xuất. Nên trước khi có bất kỳ mô hình ngôn ngữ nào tham gia, bạn cần truy xuất nhanh và chính xác. Đó là bài này. Một người quản lý tuyển dụng đọc mã của bạn ở đây kiểm tra một điều: bạn có biến được một đống văn bản thành thứ tìm kiếm tốt được không? TF-IDF là một phương pháp từ vựng: nó so khớp các từ một truy vấn có chung với một bài viết, có trọng số theo mức độ đặc trưng của mỗi từ. Nó không biết "refund" và "money back" có cùng nghĩa; đó là thứ embedding thêm vào (các bài tiếp theo). Tìm kiếm từ vựng vẫn là đường cơ sở nhanh, rẻ mà mọi hệ thống truy xuất nên vượt qua.
Bạn sẽ xây một bộ truy xuất TF-IDF nhỏ. Ý tưởng trong một hơi: biểu diễn mỗi bài viết như một vector trọng số từ, trong đó một từ được tính nhiều hơn nếu nó xuất hiện nhiều trong bài này (tần suất thuật ngữ) nhưng hiếm trên mọi bài viết (tần suất tài liệu nghịch đảo). So sánh một truy vấn với mọi bài viết bằng độ tương đồng cosine và trả về những bài gần nhất.
Ba động tác làm nó chạy:
- Tách token: viết thường, tách thành từ, và bỏ các từ dừng nhỏ như "the" và "is" vốn khớp với mọi thứ và không mang nghĩa gì.
re.findall(r"[a-z0-9]+", text.lower())rồi lọc theo tập từ dừng. - Đặt trọng số: với mỗi bài viết, tần suất thuật ngữ nhân IDF, rồi chuẩn hóa vector về độ dài đơn vị để bài dài và bài ngắn được so sánh công bằng.
- Chấm điểm: độ tương đồng cosine giữa vector truy vấn và mỗi vector bài viết. Với vector đơn vị đó chỉ là tích vô hướng. Xếp hạng giảm dần.
Xây hai hàm trên list bài viết:
index = build_index(docs) # precompute weights once
retrieve(query, index, k) # -> the ids of the top-k closest docsbuild_index(docs) trả về bất cứ cấu trúc nào bạn cần (một dict là ổn). retrieve trả về một list các chỉ số nguyên vào docs, khớp nhất trước, tối đa k cái. Bạn có thể dùng Python trơn và math, hoặc numpy, hoặc TfidfVectorizer của scikit-learn: dù bạn dùng gì, hợp đồng vẫn như nhau. Giữ DOCS được định nghĩa ở cấp mô-đun để bộ chấm dựng lại được chỉ mục của bạn. Nhấn Chạy để xem vài câu hỏi hỗ trợ được giải quyết tới đúng bài viết.
Xây dựng bộ truy xuất TF-IDF trên cơ sở kiến thức hỗ trợ gồm 8 bài báo. Giữ DOCS ở cấp độ module. Viết build_index(docs) (tách từ với loại bỏ stopword, trọng số hóa các từ bằng tf*idf, chuẩn hóa về đơn vị vector) và retrieve(query, index, k) trả về chỉ số của k tài liệu gần nhất theo độ tương đồng cosine, ưu tiên kết quả tốt nhất trước, tối đa k. Sử dụng Python thuần, numpy, hoặc scikit-learn đều được.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.