课程大纲 第 101 课,共 148 课 · 评判输出
评判输出

一个问题的六个答案

为什么重要 再问一次并采用最常见的答案,感觉像是听取了第二意见。但来自同一个模型的样本共享它的习惯,所以多数可能一起犯错。

这一课中的助手输出是为这门课编写的,形状和真实助手的输出完全一样。它不是任何特定模型的记录。

一位队友问了六次,要“一个返回一个数字列表中位数的函数”。六个答案中有四个在排序后挑出一个中间元素,这对于长度为偶数的列表是错的([1, 2, 3, 4] 的中位数是 2.5);其中一个还会就地排序调用者的列表。有两个是对的。如果对它们的返回值投票,一个错误的答案会以三比二胜出。

运行它们,比争论它们更省事。几个答案已知的例子,包括常见答案会漏掉的那一个,能一下子把这六个答案分出高下。

load_sample 会在这里,也就是在这个浏览器标签页里,像运行你自己的代码一样运行一个样本的代码。这些样本是为这门课编写的。对于真实的助手输出,要先读一读,再在某个可以随时丢弃的地方运行它,比如一个容器或一台用完即弃的虚拟机,永远不要在你的密钥和数据旁边运行。

自洽性:抽取几个答案并采用多数。当错误是随机的时候它有帮助;当模型有一个系统性的盲点时,它没有帮助。

轮到你了

编写 rank(samples, name, cases)。samples 是一个由代码字符串组成的列表,每一段代码都应该定义一个叫作 name 的函数。cases 是一个由 (args, expected) 对组成的列表,args 是一个元组。对于每一个样本,用 creative.samples 中的 load_sample(code, name) 获取它的函数;如果它给出 None(代码运行失败,或者没有定义 name),那么每一个例子都算失败。否则,为每个例子调用这个函数(传入任何列表参数的一份副本,这样一个样本就没法为下一个样本改变这个例子);当调用返回一个等于 expected 的值时,这个例子通过,如果不同或者抛出异常,就算失败。为每个样本返回一个字典,{"sample": i, "passed": n, "failed": [case indexes]},通过最多的排在前面,相同时按样本索引排序。

发现这节课有问题?报告它 · 就这节课提问

这个练习即将开放

完成它前面的那一课,这一课就会解锁。整门课程免费,无需账号,而且你现在就可以阅读这节课。