课程大纲 第 143 课,共 250 课 · 从零实现嵌入与语义搜索
从零实现嵌入与语义搜索

词袋向量

在模型能比较两段文本之前,文本必须变成数字。最古老、最简单的方式是词袋:选一个固定的词列表(词表),然后用每个词表里的词在一份文档中出现的次数来描述这份文档。词的顺序被扔掉了,所以叫"袋"。它很粗糙,但它是 TF-IDF、BM25 乃至稠密嵌入共同的基础。

假设词表是 ["the", "cat", "sat", "dog", "ran"]。文档 "the cat sat" 变成计数向量 [1, 1, 1, 0, 0]:一个 the,一个 cat,一个 sat,零个 dog,零个 ran。文档 "the dog ran the dog" 变成 [2, 0, 0, 2, 1]。

在生产环境里有两条规则很重要:

  • 向量的长度总是词表的大小,无论文档有多长。正是这种固定的形状,让你能把文档堆成一个矩阵并做线性代数。
  • 不在词表里的词(词表外词,或称 OOV)会被直接忽略。真正的系统会限制词表大小,所以没见过的词就消失了。

在真实代码里,你会用 scikit-learn,它做的正是这件事,并交给你一个稀疏矩阵:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"])   # one row, vocab-size columns

为了理解那个工具在底层做了什么,你要自己构建这个计数器。

构建 vectorize(doc, vocab):把文档转成小写,按空白拆分,并返回一个由计数组成的列表,每个词表里的词一个,按词表的顺序排列。忽略任何不在词表里的词元。空文档返回全零。

轮到你了

写 vectorize(doc, vocab),在一个固定的词表上把一个文档字符串变成一个词袋计数列表。把文档转成小写并按空白拆分,数一数每个 vocab 里的词出现了多少次,并按 vocab 的顺序把计数作为列表返回。词表之外的词元被忽略;空文档返回全零。返回列表的长度总是等于 len(vocab)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。