课程大纲 第 92 课,共 148 课 · 说谎的一课
说谎的一课

自信而错误

为什么重要 语言模型写出错误答案时,用的是和写出正确答案时一样平静、格式整齐的语气。语气什么都告诉不了你。一个失败的测试却能告诉你一切。

流畅正是这些模型被训练出来的能力,所以对它们来说毫不费力。正确性是另一种独立的属性,而文本并不会显示你得到的是哪一种。听起来像是公认做法的建议(“重试一下就好”“这个正则是标准写法”“名字和大小就够了”)最危险,因为它不会引人再看第二眼。

在斯坦福的一项研究中,借助 AI 助手编写安全敏感代码的人,写出的代码比没有助手的人更不安全,而且更可能相信自己的代码是安全的(Perry 等人 2023)。同样的差距也出现在速度上:在 2025 年的一项试验中,使用 AI 工具的资深开源开发者完成任务花的时间更长,却相信自己更快了(METR 2025)。你对一个答案有多自信,并不是对它的测量。

去证明,而不是去争论

当一条建议让你觉得不对劲时,最有力的回应不是一个更好的论点,而是一个小小的测试:它在建议的代码上失败,在正确的版本上通过。一个论点可以被反驳。一个失败的测试会终结讨论,而且它会留在代码库里,让这个错误无法卷土重来。

反例:一个让某个说法不成立的具体输入。一个就足以推翻“这总是有效”。

这个模块怎么运作

每一课都会展示一条附带代码的预设建议。这条建议是为课程写的,故意写错,错的方式和真实建议出错的方式一样。你来编写一个测试。它会针对建议的代码、几个和它很接近的变体,以及一个隐藏的正确版本运行。它必须通过正确的版本,并抓住足够多的其他版本。

回顾 流畅不等于正确。把怀疑变成一个反例,再把反例变成一个测试。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。