Векторы Bag-of-Words
Прежде чем модель сможет сравнить два фрагмента текста, текст должен превратиться в числа. Самый старый и простой способ это мешок слов: выберите фиксированный список слов (vocabulary), затем опишите любой документ тем, сколько раз каждое слово из словаря встречается в нем. Порядок слов отбрасывается, отсюда и слово "bag". Это грубо, но это фундамент, на котором строятся TF-IDF, BM25 и даже dense embeddings.
Пусть словарь это ["the", "cat", "sat", "dog", "ran"]. Документ "the cat sat" становится вектором счета [1, 1, 1, 0, 0]: один the, один cat, один sat, ноль dog, ноль ran. Документ "the dog ran the dog" становится [2, 0, 0, 2, 1].
Два правила, которые важны в продакшене:
- Длина вектора всегда равна размеру словаря, независимо от того, какой длины документ. Эта фиксированная форма позволяет складывать документы в матрицу и выполнять линейную алгебру.
- Слова, которых нет в словаре (out of vocabulary, или OOV), просто игнорируются. Реальная система ограничивает словарь, поэтому неизвестные слова исчезают.
В реальном коде вы бы использовали scikit-learn, который делает именно это и выдает вам разреженную матрицу:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columnsЧтобы понять, как этот инструмент работает внутри, вы сами построите счетчик.
Build vectorize(doc, vocab): переведите документ в нижний регистр, разделите его по пробелам и верните list счетчиков, по одному для каждого слова из словаря, в алфавитном порядке словаря. Игнорируйте любые токены, которых нет в словаре. Пустой документ возвращает все нули.
Напишите vectorize(doc, vocab), который превращает строку документа в список подсчета bag-of-words по фиксированному словарю. Переведите документ в нижний регистр и разделите по пробелам, посчитайте, сколько раз встречается каждое слово vocab, и верните эти счетчики в виде списка в порядке vocab. Токены вне словаря игнорируются; пустой документ возвращает все нули. Длина возвращаемого списка всегда равна len(vocab).
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.