课程大纲 第 111 课,共 250 课 · 神经网络直觉、LLM 与 AI 综合项目
神经网络直觉、LLM 与 AI 综合项目

设备端 AI(没有云)

大多数 AI 应用会把你的文本发送到某家公司的服务器,由服务器运行模型再把答案发回来。这意味着账号、API 密钥、账单,以及你的数据离开你的机器。Floati 拒绝这一切。

Floati 在客户端运行它的 AI,就在你的浏览器或应用里,使用构建在 WebGPU 之上的 WebLLM。WebGPU 是一项浏览器标准,让网页代码能使用你电脑的显卡;WebLLM 用它在本地运行一个真正的(较小的)语言模型。模型权重只下载一次,之后一切都在你的设备上进行。

  • 没有密钥,没有云,没有账单。没有任何需要注册的东西。
  • 天生私密。你的提示词从不离开这台机器,这符合 Floati 离线优先的承诺。
  • 诚实的局限。设备端模型比那些巨大的托管模型更小、更慢,而且需要支持 WebGPU 的浏览器。换来的是隐私和零成本。

无论你和哪个模型对话,你都是通过提示词和它对话的。一个干净、可复用的习惯是把系统指令(模型应该扮演谁)和用户的消息分开,然后把它们组装成一个字符串,并在末尾留出一个清楚的轮次让模型接着写:

def build_prompt(system, user):
    return f"System: {system}\nUser: {user}\nAssistant:"

以 Assistant: 结尾,表明模型应该从哪里开始写。你现在就来构建这个模板;下一课会用它真正地调用设备端模型。

轮到你了

写 build_prompt(system, user),返回一个形状完全如下的字符串:System: <system>,然后一个换行,User: <user>,一个换行,然后是 Assistant:,后面什么都没有。然后设 prompt = build_prompt("You are concise.", "Summarize my week.")。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。