设备端 AI(没有云)
大多数 AI 应用会把你的文本发送到某家公司的服务器,由服务器运行模型再把答案发回来。这意味着账号、API 密钥、账单,以及你的数据离开你的机器。Floati 拒绝这一切。
Floati 在客户端运行它的 AI,就在你的浏览器或应用里,使用构建在 WebGPU 之上的 WebLLM。WebGPU 是一项浏览器标准,让网页代码能使用你电脑的显卡;WebLLM 用它在本地运行一个真正的(较小的)语言模型。模型权重只下载一次,之后一切都在你的设备上进行。
- 没有密钥,没有云,没有账单。没有任何需要注册的东西。
- 天生私密。你的提示词从不离开这台机器,这符合 Floati 离线优先的承诺。
- 诚实的局限。设备端模型比那些巨大的托管模型更小、更慢,而且需要支持 WebGPU 的浏览器。换来的是隐私和零成本。
无论你和哪个模型对话,你都是通过提示词和它对话的。一个干净、可复用的习惯是把系统指令(模型应该扮演谁)和用户的消息分开,然后把它们组装成一个字符串,并在末尾留出一个清楚的轮次让模型接着写:
def build_prompt(system, user):
return f"System: {system}\nUser: {user}\nAssistant:"以 Assistant: 结尾,表明模型应该从哪里开始写。你现在就来构建这个模板;下一课会用它真正地调用设备端模型。
写 build_prompt(system, user),返回一个形状完全如下的字符串:System: <system>,然后一个换行,User: <user>,一个换行,然后是 Assistant:,后面什么都没有。然后设 prompt = build_prompt("You are concise.", "Summarize my week.")。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。