评判输出
读输出,而不是读语气
你以前学过这门课程吗?
这样我们只统计你一次。只会发送你的答案,以及你的匿名进度。
为什么重要 一个助手的答案是一组说法:这些包存在、这个差异只修复了那个缺陷、这段代码处理了那个边界情况、这些命令是安全的。每一个说法都可以检查,而大多数检查的成本都很低。
前面的模块用一个失败的测试证明了建议是错的。这个模块再往外扩一步:它检查答案中那些人们会跳过的部分,因为它们看起来像是管道工程。
- 名字:包、函数和选项。在一项关于代码生成模型的大型研究中,商业模型推荐的包平均至少有 5.2% 并不存在,开源模型推荐的包则有 21.7% 不存在,被编造出来的不同名字超过 200,000 个(Spracklen 等人,USENIX Security 2025)。攻击者可以注册一个被编造出来的名字,然后等待。
- 范围:一个修复了缺陷、却悄悄改了另外三个函数的差异。
- 选择:一个含糊的请求,会让助手替你决定一些你从没说过的事情,比如大小写、顺序或空值。
- 一致性:问两次、得到两次同样的答案,并不能让它变对。
- 操作:一个会运行命令的智能体,可能会走出你想让它待的那个文件夹。
幻觉包抢注:用模型倾向于编造的名字注册一个包,这样安装它的代码就会运行攻击者的代码。
拼写错误抢注:更老的把戏,注册一个和某个流行包只差一处笔误的名字(requets),等着有人打错字,无论打错的是人还是模型。
这个模块中的助手输出是为这门课编写的,形状和真实助手的输出完全一样。它不是任何特定模型的记录。
回顾 把一个答案拆成一个个说法,每次都检查那些成本低的:名字、范围、选择、一致性、操作。
本课已完成。干得好。
这个练习即将开放
完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。
这个浏览器屏蔽了 learn.floati.life 的 Cookie,所以你在这里完成的课程无法按顺序打开。请允许这个网站使用 Cookie,然后重新加载。