神经网络直觉、LLM 与 AI 综合项目
观察:文本怎样变成数字
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
在 LLM 能对你的提示词做任何事之前,它必须先把你的文本变成数字,因为神经网络只能对数字做数学。做这件事的那一步叫作分词(tokenization)。
按下播放。看一个单词被切分成 token(常见的文本片段,通常是子词,而不是完整的单词),再看每个 token 变成模型词表里的一个整数 id。在这之后,模型再也看不到字母,只看到一串 id。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。