Программа курса Урок 97 из 148 · Оценивайте вывод
Оценивайте вывод

Читайте вывод, а не тон

Почему это важно Ответ ассистента - это связка утверждений: эти пакеты существуют, этот diff исправляет только баг, этот код обрабатывает граничный случай, эти команды безопасны. Каждое утверждение можно проверить, и большинство проверок дёшевы.

Прежние модули доказывали неверность совета проваленным тестом. Этот модуль делает шаг шире: он проверяет те части ответа, которые люди пропускают, потому что они выглядят как обвязка.

  • Имена: пакеты, функции и флаги. В большом исследовании моделей, генерирующих код, в среднем не меньше 5,2% пакетов, рекомендованных коммерческими моделями, и 21,7% пакетов от открытых моделей не существовали, при этом было больше 200 000 различных выдуманных имён (Spracklen et al., USENIX Security 2025). Злоумышленник может зарегистрировать выдуманное имя и ждать.
  • Охват: diff, который исправляет баг и тихо меняет ещё три функции.
  • Решения: расплывчатая просьба заставляет ассистента решать то, чего вы никогда не говорили, например регистр букв, порядок или пустые значения.
  • Согласие: если спросить дважды и дважды получить один ответ, он не становится правильным.
  • Действия: агент, который запускает команды, может выйти за пределы задуманной вами папки.

Slopsquatting: регистрация пакета под именем, которое модели склонны выдумывать, чтобы код, устанавливающий его, запускал код злоумышленника.

Typosquatting: более старый трюк - зарегистрировать имя, отличающееся на одну опечатку от популярного пакета (requets), и ждать ошибки при наборе, человеческой или модели.

Ответы ассистента в этом модуле написаны для курса в точности в той форме, которую выдают настоящие ассистенты. Это не запись какой-либо конкретной модели.

Итоги Разбейте ответ на утверждения и каждый раз проверяйте дешёвые: имена, охват, решения, согласие, действия.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.