课程大纲 第 135 课,共 246 课 · 第 12 模块:作为数字的单词(嵌入)
第 12 模块:作为数字的单词(嵌入)

一个模型学到了关于字母的什么

为什么重要 没有人告诉一个语言模型 a 和 e 都是元音。如果它的嵌入还是把它们放得很近,那就是模型仅从文本中发现了这一点。这是对从数据中学到的“含义”的第一瞥。

要比较两个嵌入,使用余弦相似度:点积除以两者的长度。当两个向量指向同一个方向时它为 1,当它们无关(成直角)时为 0,当它们指向相反的方向时为负 1。它忽略长度,而长度主要反映的是一个符号出现的频率。

你将查看课程中被记录的那个小型 GPT 的内部(第 13 模块会构建它)。它只读过这门课的课文,一次一个字符,每个字符是一行 64 个数字。

先预测:哪一组字符对平均来说最相似:两个元音、一个元音和一个辅音,还是两个数字?

本课中的词语和符号
嵌入
代表一个符号的那一行学习得到的数字
余弦相似度
点积除以两者的长度:1 表示同一方向,0 表示无关,-1 表示相反
轮到你了

把 my_prediction 设为 "vowels"、"mixed" 或 "digits"。编写 cosine(a, b) 和 nearest(ch, k)(和 ch 余弦值最高的 k 个其他字符,最好的在前)。然后用每一组中所有不同字符对的平均余弦值填写 group。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。