课程大纲 第 110 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

什么是 LLM?

像聊天助手背后的那种大语言模型(LLM),本质上是一个巨大的下一个 token 预测器。几个术语就能让整件事豁然开朗。

  • Token。文本被切成叫作 token 的片段,大致是单词或单词的碎片。模型读写的是 token,而不是原始字符。一个粗略的规则:一个 token 大约是四个英文字符。
  • 预测。给定到目前为止的 token,模型为每一个可能的下一个 token 输出一个概率。它挑出一个,接到后面,然后重复。这个循环就是它写出整段文字的方式。
  • 提示词。你输入的文本。模型对你的请求所知道的一切都在提示词里,所以你怎么措辞非常重要(后面几课)。
  • 温度。控制那次挑选有多随机的旋钮。接近 0 时,模型几乎总是选最可能的 token(专注、重复)。更高的值让它采样可能性更低的 token(更有创意,也更不可靠)。本地模型,比如本课程综合项目里的那个,仍然接受这个旋钮。最新的托管 Claude 模型则不接受:它们自己设定采样方式,遇到温度设置会返回一个错误,所以在那里你通过提示词来引导输出。
  • 幻觉。因为它预测的是看起来合理的文本,而不是去查事实,LLM 可能会非常自信地说出错误的东西。一定要核实它给你的事实。

真正的分词器基于子词,并且是从数据中学来的。我们不会在这里构建那个,但可以构建一个最简单的分词器(按空白切分),来感受一下数 token 是什么样子。用量和限制就是按 token 数来计量的。

def tokenize(text):
    return text.split()   # whitespace tokens

tokenize("the cat sat")   # ['the', 'cat', 'sat']

按空白切分只是一个帮你找感觉的替代品。真正的分词器会切成子词片段,所以一个常见的预算经验法则是 tokens ≈ len(text) / 4 个字符,而生产代码会从 API 返回的 usage 字段(或专门的计算 token 数的接口)读取确切的数量,而不是去猜。

推理模型

上面的一切描述的都是直接输出答案的模型。一个更新的家族,推理模型,会先花一份隐藏的“思考”token 预算,一步一步地把问题想清楚,然后再写出最终答案。这份额外的斟酌能在困难的多步任务(数学、代码、仔细的规划)上换来真正的准确率,而且你通常会得到一个旋钮:更高的努力程度或思考预算意味着更多的思考 token、更长的延迟和更高的成本。工程上的判断就是什么时候值得:在真正困难的那一步用推理模型,在常规的步骤上用又快又便宜的模型。之后你会把这个权衡用起来,构建一个考虑成本的级联,把简单的请求交给便宜的模型,只把困难的请求升级。

轮到你了

写一个简单的空白分词器。tokenize(text) 返回按空白分隔的 token 列表(用 .split())。count_tokens(text) 返回 token 的个数。然后设 tokens = tokenize(sample) 和 n_tokens = count_tokens(sample)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。