Программа курса Урок 143 из 250 · Эмбеддинги и семантический поиск с нуля
Эмбеддинги и семантический поиск с нуля

Векторы Bag-of-Words

Прежде чем модель сможет сравнить два фрагмента текста, текст должен превратиться в числа. Самый старый и простой способ это мешок слов: выберите фиксированный список слов (vocabulary), затем опишите любой документ тем, сколько раз каждое слово из словаря встречается в нем. Порядок слов отбрасывается, отсюда и слово "bag". Это грубо, но это фундамент, на котором строятся TF-IDF, BM25 и даже dense embeddings.

Пусть словарь это ["the", "cat", "sat", "dog", "ran"]. Документ "the cat sat" становится вектором счета [1, 1, 1, 0, 0]: один the, один cat, один sat, ноль dog, ноль ran. Документ "the dog ran the dog" становится [2, 0, 0, 2, 1].

Два правила, которые важны в продакшене:

  • Длина вектора всегда равна размеру словаря, независимо от того, какой длины документ. Эта фиксированная форма позволяет складывать документы в матрицу и выполнять линейную алгебру.
  • Слова, которых нет в словаре (out of vocabulary, или OOV), просто игнорируются. Реальная система ограничивает словарь, поэтому неизвестные слова исчезают.

В реальном коде вы бы использовали scikit-learn, который делает именно это и выдает вам разреженную матрицу:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

Чтобы понять, как этот инструмент работает внутри, вы сами построите счетчик.

Build vectorize(doc, vocab): переведите документ в нижний регистр, разделите его по пробелам и верните list счетчиков, по одному для каждого слова из словаря, в алфавитном порядке словаря. Игнорируйте любые токены, которых нет в словаре. Пустой документ возвращает все нули.

Твоя очередь

Напишите vectorize(doc, vocab), который превращает строку документа в список подсчета bag-of-words по фиксированному словарю. Переведите документ в нижний регистр и разделите по пробелам, посчитайте, сколько раз встречается каждое слово vocab, и верните эти счетчики в виде списка в порядке vocab. Токены вне словаря игнорируются; пустой документ возвращает все нули. Длина возвращаемого списка всегда равна len(vocab).

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.