第 12 模块:作为数字的单词(嵌入)
一个模型学到了关于字母的什么
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 没有人告诉一个语言模型 a 和 e 都是元音。如果它的嵌入还是把它们放得很近,那就是模型仅从文本中发现了这一点。这是对从数据中学到的“含义”的第一瞥。
要比较两个嵌入,使用余弦相似度:点积除以两者的长度。当两个向量指向同一个方向时它为 1,当它们无关(成直角)时为 0,当它们指向相反的方向时为负 1。它忽略长度,而长度主要反映的是一个符号出现的频率。
你将查看课程中被记录的那个小型 GPT 的内部(第 13 模块会构建它)。它只读过这门课的课文,一次一个字符,每个字符是一行 64 个数字。
先预测:哪一组字符对平均来说最相似:两个元音、一个元音和一个辅音,还是两个数字?
本课中的词语和符号
- 嵌入
- 代表一个符号的那一行学习得到的数字
- 余弦相似度
- 点积除以两者的长度:1 表示同一方向,0 表示无关,-1 表示相反
轮到你了
把 my_prediction 设为 "vowels"、"mixed" 或 "digits"。编写 cosine(a, b) 和 nearest(ch, k)(和 ch 余弦值最高的 k 个其他字符,最好的在前)。然后用每一组中所有不同字符对的平均余弦值填写 group。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。