课程大纲 第 88 课,共 156 课 · 私密 AI
私密 AI

设备端模型

为什么重要 设备端模型在回答你时,你的文字从不离开你的电脑或手机。这把“请放心把数据交给我们”变成了“我们从来就没有你的数据”。CV Builder 的 AI 润色和这门课程的导师就是这样工作的,而你可以亲自验证这一点。

你厨房里的厨师

云端 AI 就像一家餐馆:你把点单交给服务员,烹饪在你看不见的地方进行。设备端模型就像请厨师到你家的厨房来。厨师需要来你这里一次(那就是下载),但从那以后每一顿饭都在家里做,没有其他人看到你吃了什么。

模型:一个由数字组成的大文件(叫作权重),加上用这些数字预测一段文本接下来的词语的代码。“运行一个模型”意味着用这些数字做大量的数学运算。

设备端模型:权重被下载到你的设备上并在那里运行的模型,使用的是你自己的处理器或显卡。你的提示词和答案都留在设备上。

它在浏览器里是怎样工作的

Floati 使用 WebLLM,一个在网页里运行语言模型的开源库。有三样东西让它能够工作:

  • WebGPU,一项让页面能够使用你的显卡(GPU)进行快速数学运算的浏览器功能。语言模型需要大量的数学运算,所以正是它让模型能在一个标签页里用起来。
  • 一个小型的压缩模型。课程导师和 CV Builder 使用一个大约五亿参数的小型指令遵循模型,经过压缩,可以放进浏览器里(2026 年 10 月核实)。
  • 浏览器的缓存,它保存下载好的权重,让下一次访问启动得快得多。

参数:模型里面的一个个数字。参数越多,通常意味着模型越强大,下载也越大。

量化:用更少的比特存储每个数字(比如用 4 比特代替 16 或 32 比特)。就像用较低的画质保存一张照片:小得多,只是稍微不那么清晰。

哪些东西确实会经过网络

在这里,诚实很重要。使用设备端模型并不等于“完全不联网”。有两样东西会被下载:

  1. 运行模型的库代码。
  2. 模型权重,有几百兆字节,下载一次,然后被缓存起来。

两者都是下载到你这里。永远不会被发送出去的是你这一方的东西:你提出的问题和你粘贴的文本。托管权重的服务器会知道有人下载了一个模型,就像下载任何文件一样,但它永远看不到你的对话。

权衡

云端模型设备端模型
谁能看到你的文本服务商只有你的设备
质量通常强得多擅长小而专注的工作
第一次使用即时可用一次性的大下载
需要互联网连接支持 WebGPU 且内存足够的浏览器
能否离线工作不能能,下载之后就可以

WebGPU 在当前桌面版的 Chrome、Edge 和 Safari 中都可用,在某些系统上的 Firefox 中也可用(2026 年 10 月核实)。在较老或内存较小的设备上,模型可能根本加载不了,这就是为什么 Floati 的 CV Builder 还有一个不需要模型的、基于规则的简单建议器。要清楚其中的区别:那个建议器运行在 Floati 自己的服务器上,所以你的简历文本会被发送到那里,但永远不会发给任何 AI 公司。

一个常见的误解

“小模型没用。”一个五亿参数的模型写不了你的小说,但它擅长那些窄而专的工作:改写一个句子、给一个提示、总结一个段落。对于许多私密的任务,一个小型本地模型才是合适的工具,而一个巨大的云端模型则是大材小用,代价是你的数据。

试一试 打开一节有导师的课程,打开浏览器的 DevTools(F12,在 Mac 上按 Cmd+Option+I),然后进入 Network 标签页。启动导师:你会看到为模型进行的大量下载。等它加载完之后,清空列表,然后向导师问一个问题。观察这个列表:你可能会看到一个小小的页面计数器请求,但没有任何请求携带你的问题或你的代码。

回顾

  • 设备端模型运行在你自己的硬件上,所以你的提示词和答案从不离开设备。
  • 在浏览器里,这要用到 WebGPU、一个小型的量化模型和缓存;Floati 的导师和 CV Builder 就是这样使用 WebLLM 的。
  • 代码和权重被下载到你这里一次;你的文本从不被上传。
  • 代价是质量较低、第一次下载很大,以及对设备有要求。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。