词袋向量
在模型能比较两段文本之前,文本必须变成数字。最古老、最简单的方式是词袋:选一个固定的词列表(词表),然后用每个词表里的词在一份文档中出现的次数来描述这份文档。词的顺序被扔掉了,所以叫"袋"。它很粗糙,但它是 TF-IDF、BM25 乃至稠密嵌入共同的基础。
假设词表是 ["the", "cat", "sat", "dog", "ran"]。文档 "the cat sat" 变成计数向量 [1, 1, 1, 0, 0]:一个 the,一个 cat,一个 sat,零个 dog,零个 ran。文档 "the dog ran the dog" 变成 [2, 0, 0, 2, 1]。
在生产环境里有两条规则很重要:
- 向量的长度总是词表的大小,无论文档有多长。正是这种固定的形状,让你能把文档堆成一个矩阵并做线性代数。
- 不在词表里的词(词表外词,或称 OOV)会被直接忽略。真正的系统会限制词表大小,所以没见过的词就消失了。
在真实代码里,你会用 scikit-learn,它做的正是这件事,并交给你一个稀疏矩阵:
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=["the", "cat", "sat", "dog", "ran"])
X = vec.transform(["the cat sat"]) # one row, vocab-size columns为了理解那个工具在底层做了什么,你要自己构建这个计数器。
构建 vectorize(doc, vocab):把文档转成小写,按空白拆分,并返回一个由计数组成的列表,每个词表里的词一个,按词表的顺序排列。忽略任何不在词表里的词元。空文档返回全零。
写 vectorize(doc, vocab),在一个固定的词表上把一个文档字符串变成一个词袋计数列表。把文档转成小写并按空白拆分,数一数每个 vocab 里的词出现了多少次,并按 vocab 的顺序把计数作为列表返回。词表之外的词元被忽略;空文档返回全零。返回列表的长度总是等于 len(vocab)。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。