Программа курса Урок 92 из 148 · Урок, который лжёт
Урок, который лжёт

Уверенно и неверно

Почему это важно Языковая модель пишет неверный ответ тем же спокойным, хорошо оформленным голосом, что и верный. Тон ничего не говорит. Проваленный тест говорит всё.

Именно гладкости эти модели и обучены, поэтому она им ничего не стоит. Правильность - отдельное свойство, и по тексту не видно, что из двух вы получаете. Самые опасные советы - те, что звучат как устоявшаяся практика ("просто повтори", "это стандартное регулярное выражение", "имени и размера достаточно"), потому что они не приглашают присмотреться ещё раз.

В исследовании Стэнфорда люди, писавшие чувствительный к безопасности код с ИИ-ассистентом, писали менее безопасный код, чем без него, и чаще верили, что их код безопасен (Perry et al. 2023). Тот же разрыв проявляется и в скорости: в испытании 2025 года опытные разработчики открытого кода с ИИ-инструментами тратили на задачи больше времени, при этом считая, что работали быстрее (METR 2025). То, насколько уверенно вы себя чувствуете насчёт ответа, - не его измерение.

Доказывайте, а не спорьте

Когда совет кажется странным, самый сильный ответ - не лучший аргумент. Это небольшой тест, который проваливается на рекомендованном коде и проходит на правильной версии. На аргумент можно возразить. Проваленный тест заканчивает обсуждение и остаётся в кодовой базе, чтобы ошибка не вернулась.

Контрпример: один конкретный вход, на котором утверждение ложно. Одного достаточно, чтобы потопить "это всегда работает".

Как устроен этот модуль

Каждый урок показывает подложенный совет с кодом. Совет написан для курса и намеренно неверен так, как бывают неверны настоящие советы. Вы пишете тест. Он запускается на рекомендованном коде, на нескольких его близких родственниках и на скрытой правильной версии. Он должен проходить на правильной и ловить достаточно других.

Итоги Гладко - не значит правильно. Превратите сомнение в контрпример, а контрпример - в тест.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.