课程大纲 第 109 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

观察:文本怎样变成数字

在 LLM 能对你的提示词做任何事之前,它必须先把你的文本变成数字,因为神经网络只能对数字做数学。做这件事的那一步叫作分词(tokenization)。

按下播放。看一个单词被切分成 token(常见的文本片段,通常是子词,而不是完整的单词),再看每个 token 变成模型词表里的一个整数 id。在这之后,模型再也看不到字母,只看到一串 id。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。