Программа курса Урок 101 из 148 · Оценивайте вывод
Оценивайте вывод

Шесть ответов на один вопрос

Почему это важно Спросить снова и взять самый частый ответ ощущается как второе мнение. Выборки из одной модели разделяют её привычки, поэтому большинство может ошибаться вместе.

Ответы ассистента в этом уроке написаны для курса в точности в той форме, которую выдают настоящие ассистенты. Это не запись какой-либо конкретной модели.

Коллега шесть раз попросил "функцию, которая возвращает медиану списка чисел". Четыре из шести ответов после сортировки берут один средний элемент, что неверно для списков чётной длины (медиана [1, 2, 3, 4] - 2,5); один из них к тому же сортирует список вызывающего на месте. Два правильны. Проголосуйте по тому, что они возвращают, и неверный ответ выиграет три к двум.

Запустить их дешевле, чем спорить о них. Несколько случаев с известными ответами, включая тот, который частый ответ упускает, сразу расставляют все шесть.

load_sample запускает код выборки здесь, в этой вкладке браузера, как ваш собственный. Эти выборки написаны для курса. С настоящим выводом ассистента сначала прочитайте его и запускайте в одноразовом месте, например в контейнере или выбрасываемой виртуальной машине, и никогда рядом с вашими ключами и данными.

Самосогласованность: выборка нескольких ответов и взятие большинства. Помогает, когда ошибки случайны; не помогает, когда у модели одно систематическое слепое пятно.

Твоя очередь

Напишите rank(samples, name, cases). samples - список строк кода, каждая должна определять функцию с именем name. cases - список пар (args, expected), где args - кортеж. Для каждой выборки получите её функцию через load_sample(code, name) из creative.samples; если это даёт None (код не запустился или не определяет name), проваливается каждый случай. Иначе вызовите функцию для каждого случая (передавайте копию любого аргумента-списка, чтобы одна выборка не могла изменить случай для следующей); случай проходит, когда вызов возвращает значение, равное expected, и проваливается, если оно отличается или вызов выбрасывает ошибку. Верните по dict на выборку, {"sample": i, "passed": n, "failed": [case indexes]}, больше всего прохождений первыми, при равенстве - по индексу выборки.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.