课程大纲 第 97 课,共 148 课 · 评判输出
评判输出

读输出,而不是读语气

为什么重要 一个助手的答案是一组说法:这些包存在、这个差异只修复了那个缺陷、这段代码处理了那个边界情况、这些命令是安全的。每一个说法都可以检查,而大多数检查的成本都很低。

前面的模块用一个失败的测试证明了建议是错的。这个模块再往外扩一步:它检查答案中那些人们会跳过的部分,因为它们看起来像是管道工程。

  • 名字:包、函数和选项。在一项关于代码生成模型的大型研究中,商业模型推荐的包平均至少有 5.2% 并不存在,开源模型推荐的包则有 21.7% 不存在,被编造出来的不同名字超过 200,000 个(Spracklen 等人,USENIX Security 2025)。攻击者可以注册一个被编造出来的名字,然后等待。
  • 范围:一个修复了缺陷、却悄悄改了另外三个函数的差异。
  • 选择:一个含糊的请求,会让助手替你决定一些你从没说过的事情,比如大小写、顺序或空值。
  • 一致性:问两次、得到两次同样的答案,并不能让它变对。
  • 操作:一个会运行命令的智能体,可能会走出你想让它待的那个文件夹。

幻觉包抢注:用模型倾向于编造的名字注册一个包,这样安装它的代码就会运行攻击者的代码。

拼写错误抢注:更老的把戏,注册一个和某个流行包只差一处笔误的名字(requets),等着有人打错字,无论打错的是人还是模型。

这个模块中的助手输出是为这门课编写的,形状和真实助手的输出完全一样。它不是任何特定模型的记录。

回顾 把一个答案拆成一个个说法,每次都检查那些成本低的:名字、范围、选择、一致性、操作。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。