BM25: Xếp hạng từ vựng thưa
TF-IDF là một đường cơ sở tuyệt vời, nhưng hàm xếp hạng thật sự vận hành các công cụ tìm kiếm và nửa từ vựng của truy xuất lai hiện đại là BM25. Nó giữ bản năng của TF-IDF (thuật ngữ hiếm quan trọng, thuật ngữ lặp lại quan trọng) nhưng sửa hai khuyết điểm của nó bằng các núm chỉnh được.
Với một thuật ngữ truy vấn trong một tài liệu, BM25 đóng góp:
idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )trong đó tf là số lần thuật ngữ xuất hiện trong tài liệu, dl là độ dài tài liệu, và avgdl là độ dài tài liệu trung bình. Điểm của tài liệu là tổng trên mọi thuật ngữ truy vấn. Ba mảnh làm việc này:
- IDF với phép làm mượt của BM25:
idf = log(1 + (N - n + 0.5) / (n + 0.5)), trong đóNlà số tài liệu vànlà số tài liệu chứa thuật ngữ.+ 1giữ cho nó không bị âm. - Bão hòa tần suất thuật ngữ qua
k1(mặc định 1.5): lần xuất hiện thứ 10 của một từ cộng thêm ít hơn nhiều so với lần thứ 2. TF-IDF thô tăng tuyến tính mãi mãi; BM25 thì phẳng dần. - Chuẩn hóa độ dài qua
b(mặc định 0.75): một tài liệu dài được kỳ vọng chứa một thuật ngữ nhiều lần hơn chỉ vì nó dài, nên điểm của nó bị giảm. Hai tài liệu cùngtfthì cái ngắn hơn được xếp cao hơn.
Một thuật ngữ không xuất hiện trong tài liệu nào thì không đóng góp gì, và một tài liệu thiếu mọi thuật ngữ truy vấn đạt điểm chính xác 0.0. Số không đó gánh vác nhiều việc: nó là cách bạn biết một tài liệu không liên quan.
Bạn sẽ làm việc trên các tài liệu đã tách token (list các từ) để trọng tâm là phần toán, không phải việc tách token. Dùng math.log (log tự nhiên); cơ số chỉ nhân mọi điểm số với một hằng số và không đổi thứ hạng.
Xây bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) trong đó query là một list thuật ngữ truy vấn và corpus_tokens là một list các tài liệu đã tách token. Trả về một list điểm BM25, một cho mỗi tài liệu, theo thứ tự trong kho.
Viết bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) cài đặt hàm xếp hạng BM25. query là một list thuật ngữ; corpus_tokens là một list các tài liệu đã tách token (mỗi cái là một list từ). Với mỗi tài liệu, cộng trên các thuật ngữ truy vấn duy nhất: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), với idf = log(1 + (N - n + 0.5) / (n + 0.5)). Trả về một list điểm số theo thứ tự trong kho. Một tài liệu có nhiều lần xuất hiện thuật ngữ truy vấn hơn đạt điểm cao hơn; một tài liệu không có cái nào đạt 0.0; với tần suất thuật ngữ bằng nhau, tài liệu dài hơn đạt điểm thấp hơn; hai tài liệu giống hệt đạt điểm giống hệt.
Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này
Bài tập này sẽ sớm mở.
Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.
Trình duyệt này đang chặn cookie cho learn.floati.life, nên các bài học bạn đã hoàn thành tại đây không thể mở theo thứ tự. Hãy cho phép cookie cho trang web này và tải lại trang.