词元:合并最常见的字符对
为什么重要 真实的模型既不读字符,也不读整个单词。它们读的是词元,也就是介于两者之间的片段,由一条简单的计数规则产生。这就是为什么一个模型会把一个常见的单词“看作”一个片段,而把一个罕见的单词看作好几个片段。
字节对编码(BPE)从单个字符开始,并重复一个步骤:找到文本中出现次数最多的那一对相邻符号,然后在所有地方把它粘合成一个新的符号。
很小的例子
单词 "low"(5 次)和 "lot"(2 次)。字符对:l o 出现 7 次,o w 5 次,o t 2 次。合并 l o:现在是 "lo w" 和 "lo t"。接下来,lo w 出现 5 次:合并它,"low" 就成了一个单独的词元。
真实的分词器加了两样这一课省略掉的东西。它们从字节而不是字符开始,所以任何语言的任何文本,包括表情符号,都能用一个有 256 个符号的起点写出来。而且它们会标出单词从哪里开始(GPT-2 把空格粘在下一个单词的前面),所以一个在单词开头的片段和单词内部同样的字母会成为不同的词元。每个单词的字符数是逐字符阅读的代价。每个单词的词元数会随着合并的增加而下降:对模型来说步子更少、更大,代价是更大的词汇表。
本课中的词语和符号
- 词元、BPE
- 模型读取的一段文本;字节对编码会一次又一次地粘合最常见的相邻字符对
编写 pair_counts(vocab)(每一对相邻符号出现的频率,按单词计数加权)和 merge(vocab, pair)(在所有地方粘合那一对)。猜一猜 my_guess,也就是 200 次合并之后每个单词的词元数(它一开始大约是 4.6)。循环已经替你写好了。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。