课程大纲 第 113 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

AI 综合项目:你的代码驱动一个设备端 LLM

这是综合项目,而你是架构师。整条学习路径都在走向一个想法:你的 Python 编排模型。LLM 只是你调用的一个组件 -> 由你的代码决定它看到什么数据、请求是什么形状,以及没有加载模型时会发生什么。你将从一个几乎空白的文件开始构建这套编排。

每一个真实的 AI 功能都是同一个循环。你的代码做可靠的工作,模型负责措辞:

  • 在 pandas 里算出事实。代码做算术是精确的;模型不是。所以行数、总额、平均值和最大的类别都来自 DataFrame,从不来自 LLM。这是避免幻觉数字的唯一方法。
  • 自己塑造请求。一个可复用的提示词模板把系统指令(模型应该扮演谁)和用户消息(它应该做什么)分开,然后把它们组装成一个字符串,并以一个轮次标记结尾,让模型知道从哪里开始写。
  • 永远要有离线路径。设备端模型需要 WebGPU,而且结果不确定,所以你还要写一个基于规则的生成器,把同样的事实变成一句话。即使完全没有模型,这个功能也能工作。

你要构建什么

两个函数,从零开始。build_prompt(system, user) 返回一个干净的字符串,包含两部分,并以 Assistant: 结尾。insight(df) 在一张内嵌的消费表上计算统计数据,并返回一行通俗的话,说出你最大的类别和总额。一个小小的 spend_stats(df) 辅助函数完成 pandas 的工作,这样报告和洞察读的是同一组数字。

AI 这一步(在应用里试试)

Floati 用 WebGPU 上的 WebLLM 在客户端运行它的模型 -> 没有账号,没有密钥,没有云,你的提示词从不离开这台机器。应用把一个共享的引擎挂在 window._floatiTutor 上。一旦你构建好了 build_prompt,真正的调用就是这样(它放在评分器之外,因为它需要 GPU,而且结果不确定):

// Floati already created window._floatiTutor (a WebLLM engine).
const prompt = build_prompt("You explain budgets in one warm sentence.", report);
const reply = await window._floatiTutor.chat.completions.create({
  messages: [{ role: "user", content: prompt }],
  temperature: 0.5, max_tokens: 120,
});
console.log(reply.choices[0].message.content);

注意,模型只会看到你的 Python 生成的 report 字符串 -> 在模型开口之前,数字就已经是正确的了。按 Run,看你的离线流水线打印出它的统计数据和基于规则的洞察;打印出来的报告正是你会交给上面那个模型的东西。评分器检查的是你的提示词形状和确定性的 insight,从不检查任何模型输出。

轮到你了

构建这套编排。消费 DataFrame df 已经为你内嵌好(10 行,列为 category 和 amount)。写三样东西:(1)spend_stats(df) -> 一个字典,键为 rows、total、average、top_category、top_amount(总额/平均值四舍五入到 2 位小数,最大类别按金额总和计算);(2)build_prompt(system, user) -> 一个同时包含 system 和 user、并以 Assistant: 结尾的字符串,让模型从那里接着写;(3)insight(df) -> 一个非空的通俗字符串(基于规则的后备方案),说出最大的类别,并给出一个保留 2 位小数金额的 TOTAL: <amount>。然后设 report = insight(df) 并 print(report)。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。