Читайте вывод, а не тон
Почему это важно Ответ ассистента - это связка утверждений: эти пакеты существуют, этот diff исправляет только баг, этот код обрабатывает граничный случай, эти команды безопасны. Каждое утверждение можно проверить, и большинство проверок дёшевы.
Прежние модули доказывали неверность совета проваленным тестом. Этот модуль делает шаг шире: он проверяет те части ответа, которые люди пропускают, потому что они выглядят как обвязка.
- Имена: пакеты, функции и флаги. В большом исследовании моделей, генерирующих код, в среднем не меньше 5,2% пакетов, рекомендованных коммерческими моделями, и 21,7% пакетов от открытых моделей не существовали, при этом было больше 200 000 различных выдуманных имён (Spracklen et al., USENIX Security 2025). Злоумышленник может зарегистрировать выдуманное имя и ждать.
- Охват: diff, который исправляет баг и тихо меняет ещё три функции.
- Решения: расплывчатая просьба заставляет ассистента решать то, чего вы никогда не говорили, например регистр букв, порядок или пустые значения.
- Согласие: если спросить дважды и дважды получить один ответ, он не становится правильным.
- Действия: агент, который запускает команды, может выйти за пределы задуманной вами папки.
Slopsquatting: регистрация пакета под именем, которое модели склонны выдумывать, чтобы код, устанавливающий его, запускал код злоумышленника.
Typosquatting: более старый трюк - зарегистрировать имя, отличающееся на одну опечатку от популярного пакета (requets), и ждать ошибки при наборе, человеческой или модели.
Ответы ассистента в этом модуле написаны для курса в точности в той форме, которую выдают настоящие ассистенты. Это не запись какой-либо конкретной модели.
Итоги Разбейте ответ на утверждения и каждый раз проверяйте дешёвые: имена, охват, решения, согласие, действия.
Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке
Это упражнение откроется скоро
Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.
Этот браузер блокирует cookies для learn.floati.life, поэтому завершенные здесь уроки не могут открыться по порядку. Разрешите cookies для этого сайта и перезагрузите страницу.