Chương trình học Bài 148 trên tổng số 250 · Embedding và tìm kiếm ngữ nghĩa từ con số không
Embedding và tìm kiếm ngữ nghĩa từ con số không

BM25: Xếp hạng từ vựng thưa

TF-IDF là một đường cơ sở tuyệt vời, nhưng hàm xếp hạng thật sự vận hành các công cụ tìm kiếm và nửa từ vựng của truy xuất lai hiện đại là BM25. Nó giữ bản năng của TF-IDF (thuật ngữ hiếm quan trọng, thuật ngữ lặp lại quan trọng) nhưng sửa hai khuyết điểm của nó bằng các núm chỉnh được.

Với một thuật ngữ truy vấn trong một tài liệu, BM25 đóng góp:

idf(term) * ( tf * (k1 + 1) ) / ( tf + k1 * (1 - b + b * dl / avgdl) )

trong đó tf là số lần thuật ngữ xuất hiện trong tài liệu, dl là độ dài tài liệu, và avgdl là độ dài tài liệu trung bình. Điểm của tài liệu là tổng trên mọi thuật ngữ truy vấn. Ba mảnh làm việc này:

  • IDF với phép làm mượt của BM25: idf = log(1 + (N - n + 0.5) / (n + 0.5)), trong đó N là số tài liệu và n là số tài liệu chứa thuật ngữ. + 1 giữ cho nó không bị âm.
  • Bão hòa tần suất thuật ngữ qua k1 (mặc định 1.5): lần xuất hiện thứ 10 của một từ cộng thêm ít hơn nhiều so với lần thứ 2. TF-IDF thô tăng tuyến tính mãi mãi; BM25 thì phẳng dần.
  • Chuẩn hóa độ dài qua b (mặc định 0.75): một tài liệu dài được kỳ vọng chứa một thuật ngữ nhiều lần hơn chỉ vì nó dài, nên điểm của nó bị giảm. Hai tài liệu cùng tf thì cái ngắn hơn được xếp cao hơn.

Một thuật ngữ không xuất hiện trong tài liệu nào thì không đóng góp gì, và một tài liệu thiếu mọi thuật ngữ truy vấn đạt điểm chính xác 0.0. Số không đó gánh vác nhiều việc: nó là cách bạn biết một tài liệu không liên quan.

Bạn sẽ làm việc trên các tài liệu đã tách token (list các từ) để trọng tâm là phần toán, không phải việc tách token. Dùng math.log (log tự nhiên); cơ số chỉ nhân mọi điểm số với một hằng số và không đổi thứ hạng.

Xây bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) trong đó query là một list thuật ngữ truy vấn và corpus_tokens là một list các tài liệu đã tách token. Trả về một list điểm BM25, một cho mỗi tài liệu, theo thứ tự trong kho.

Đến lượt bạn

Viết bm25_scores(query, corpus_tokens, k1=1.5, b=0.75) cài đặt hàm xếp hạng BM25. query là một list thuật ngữ; corpus_tokens là một list các tài liệu đã tách token (mỗi cái là một list từ). Với mỗi tài liệu, cộng trên các thuật ngữ truy vấn duy nhất: idf * tf * (k1 + 1) / (tf + k1 * (1 - b + b * dl / avgdl)), với idf = log(1 + (N - n + 0.5) / (n + 0.5)). Trả về một list điểm số theo thứ tự trong kho. Một tài liệu có nhiều lần xuất hiện thuật ngữ truy vấn hơn đạt điểm cao hơn; một tài liệu không có cái nào đạt 0.0; với tần suất thuật ngữ bằng nhau, tài liệu dài hơn đạt điểm thấp hơn; hai tài liệu giống hệt đạt điểm giống hệt.

Bạn thấy vấn đề gì trong bài học này? Hãy báo cáo nó · Hỏi về bài học này

Bài tập này sẽ sớm mở.

Hoàn thành bài học trước đó để mở khóa bài này. Toàn bộ khóa học là miễn phí, không cần tài khoản, và bạn có thể đọc bài học này ngay bây giờ.