Chương trình học Bài 149 trên tổng số 250 · Embedding và tìm kiếm ngữ nghĩa từ con số không
Embedding và tìm kiếm ngữ nghĩa từ con số không

Tìm kiếm lai: Hợp nhất thứ hạng nghịch đảo + Xếp hạng lại

BM25 (thưa, từ vựng) và cosine embedding (dày đặc, ngữ nghĩa) mỗi cái bắt được thứ cái kia bỏ sót: BM25 bắt trúng thuật ngữ chính xác và mã hiếm, truy xuất dày đặc bắt được các cách diễn đạt khác. Các hệ thống vận hành chạy cả hai và kết hợp kết quả. Vướng mắc là điểm số của chúng nằm trên các thang đo hoàn toàn khác nhau, nên bạn không thể chỉ cộng chúng. Cách sửa chuẩn là kết hợp theo thứ hạng, không theo điểm số.

Hợp nhất thứ hạng nghịch đảo (RRF) làm đúng việc đó. Mỗi bộ truy xuất cho bạn một list id tài liệu có thứ tự. Điểm hợp nhất của một mục là tổng, trên các list, của 1 / (k + rank), trong đó rank là vị trí đếm từ 1 của nó trong list đó và k là một hằng số (60 là giá trị mặc định phổ biến làm dịu khoảng cách giữa hạng 1 và 2):

score(item) = sum over lists of  1 / (k + rank_in_that_list)

Một mục gần đầu cả hai list gom được hai phần đóng góp lớn và thắng. Một mục chỉ một bộ truy xuất tìm thấy vẫn được tính một phần. Rồi sắp theo điểm hợp nhất giảm dần. Để tất định khi hai mục hòa nhau, phá hòa bằng id của mục.

Giai đoạn thứ hai là xếp hạng lại. Hợp nhất thì rẻ và xấp xỉ; một cross-encoder đọc truy vấn và một ứng viên cùng lúc và chấm trực tiếp mức liên quan của chúng, chính xác hơn nhiều nhưng quá chậm để chạy trên toàn kho. Nên bạn hợp nhất để có một list ứng viên ngắn, rồi chỉ xếp hạng lại vài cái đó bằng mô hình đắt tiền. Ta không thể chạy một cross-encoder thật ở đây (không có mô hình, không có GPU), nên bạn được trao đầu ra của nó dưới dạng một bảng điểm ánh xạ mỗi ứng viên tới điểm liên quan của nó, và bạn sắp lại theo đó.

Để làm ngữ cảnh, một lệnh gọi bộ xếp hạng lại thật trông như thế này (KHÔNG dùng khi chấm điểm):

# a real cross-encoder, requires a model download and is NOT run here
from sentence_transformers import CrossEncoder
ce = CrossEncoder("cross-encoder/ms-marco-MiniLM-L-6-v2")
scores = ce.predict([(query, doc) for doc in candidates])

Xây hai hàm. rrf(rank_lists, k=60) nhận một list các list id đã xếp hạng và trả về các id đã hợp nhất được sắp theo điểm RRF giảm dần (phá hòa bằng id). rerank(candidates, score_table) trả về các ứng viên được sắp lại theo điểm của chúng trong score_table giảm dần (phá hòa bằng id).

Đến lượt bạn

Viết hai hàm. rrf(rank_lists, k=60) hợp nhất vài list id đã xếp hạng: điểm của mỗi mục là tổng trên các list của 1 / (k + rank) (rank là vị trí đếm từ 1), và bạn trả về các mục được sắp theo điểm hợp nhất giảm dần, phá hòa bằng id của mục. rerank(candidates, score_table) trả về candidates được sắp lại theo score_table[item] giảm dần, phá hòa bằng id. Một mục xếp cao trong cả hai list đầu vào phải thắng phép hợp nhất; hợp nhất hai cặp list khác nhau phải cho hai thứ tự khác nhau; rerank phải sắp lại theo bảng điểm; và hợp nhất một list duy nhất trả về nó không đổi.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.