嵌入的直觉(确定性的模拟嵌入器)
词袋有一个致命的盲点:"dog" 和 "puppy" 是不同的词,所以它们的计数向量毫无共同之处,余弦为 0,尽管它们的意思几乎一样。真正的嵌入解决了这个问题:它把词(或整个句子)放进一个向量空间,在那里用法相似的东西会落在彼此附近。指导思想是分布假说:观其伴,知其词。出现在相同上下文中的词会得到相似的向量。
生产环境的嵌入来自一个训练好的神经网络(sentence-transformers)或一个托管的 API。我们没法在这里运行它们:这个沙盒里没有 GPU,也没有网络。所以你要构建一个确定性的模拟嵌入器,它捕捉到了真东西的几何结构,却不需要训练好的权重。它对自己的局限很诚实,用来学习这套机制再合适不过。
诀窍是一个共现向量。给定一个精心挑选的小语料库,一个词的嵌入就是对哪些其他词与它出现在同一份文档中的计数。如果 dog 和 puppy 都和 park、runs 和 nap 为伴,它们的上下文向量就会对齐,余弦就很高。invoice 则和 pay 与 due 为伴,所以它指向别处。
在这一课附带的语料库上,回报是具体的:
cosine(embed("dog"), embed("puppy")) # high, around 0.9
cosine(embed("dog"), embed("invoice")) # low, around 0.37那个不等式,cosine(dog, puppy) > cosine(dog, invoice),就是用一行表达出来的嵌入的全部意义。
作为对比,真正的调用看起来是这样的(它不会在这里运行,仅作背景展示):
# real embeddings, requires a model download and is NOT used in grading
from sentence_transformers import SentenceTransformer
model = SentenceTransformer("all-MiniLM-L6-v2")
vec = model.encode("a happy dog") # 384-dim learned vector构建 embed(word, corpus, vocab),返回一个词的共现向量:一个固定长度的列表(每个词表里的词一个位置),其中第 j 个位置统计在所有包含目标词的语料文档中,词表里的第 j 个词与目标词共同出现了多少次。不要把目标词和它自己一起计数。同一个词总是返回同一个向量。
写 embed(word, corpus, vocab),一个确定性的模拟嵌入器。对于给定的词,扫描 corpus 里的每一份文档(每份都是一个小写字符串)。在包含这个词的文档里,把其他的词(跳过目标词本身)计数进一个与词表等长的向量,按 vocab 的顺序作为列表返回。结果是一个共现上下文向量:用在相似上下文中的词会得到相似的向量,所以在课上的语料库上 cosine(embed("dog"), embed("puppy")) > cosine(embed("dog"), embed("invoice"))。同一个词总是产生同一个向量,长度总是等于 len(vocab)。保持起始代码里的 CORPUS 和 VOCAB 不变:检查会读取它们。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。