Программа курса Урок 7 из 148 · Нанесите на карту привычку по умолчанию
Нанесите на карту привычку по умолчанию

Почему ответы сходятся

Почему это важно Если вы и все остальные задаёте одному и тому же ассистенту один и тот же вопрос, вы получаете примерно один и тот же ответ. Это полезно для рутинной работы и становится проблемой, когда рутинный ответ неверен для вашего случая.

Языковая модель пишет следующее слово, выбирая среди слов, которые с наибольшей вероятностью идут дальше с учётом всего предыдущего. На вопрос о дизайне она выдаёт ответ, который чаще всего следовал за вопросами вроде вашего в том, на чём она училась. То есть по построению это распространённый ответ: часто хороший, редко тот, что подходит под необычное ограничение.

Поведение по умолчанию: ответ, который вы (или модель) даёте первым, потому что он самый знакомый. По определению не неверный; просто не проверенный.

Данные об одинаковости

В эксперименте с написанием текстов люди, которые могли использовать идеи историй от генеративного ИИ, писали рассказы, которые читатели оценивали как более творческие и лучше написанные, особенно среди менее творческих авторов. Но эти рассказы также были больше похожи друг на друга, чем рассказы, написанные без идей ИИ (Doshi and Hauser 2024). Каждый справился лучше; группа стала однороднее.

Это исследование было о рассказах, а не о коде, но того же притяжения легко ожидать и в коде. Если каждая команда спрашивает "как сделать этот эндпоинт быстрее?", все получают "добавьте кэш". Когда настоящая проблема - отсутствующий индекс или медленное изменение размера картинки внутри запроса, поле, полное кэшей, - это поле, полное одного и того же слепого пятна.

Что с этим делать

Не "никогда не берите первый ответ". Вместо этого нанесите его на карту: знайте, каково поведение по умолчанию для вопроса определённого рода, чтобы замечать, когда вы вот-вот его выдадите, и проверять, обычный ли у вас случай. Следующие два урока делают ровно это с тридцатью ответами.

Итоги Первый ответ модели - самый вероятный ответ. Помощь ИИ может повышать индивидуальное качество, делая работу всех более похожей. Знайте поведение по умолчанию, чтобы выбирать его намеренно.

Заметили проблему в этом уроке? Сообщите о ней · Спросить об этом уроке

Это упражнение откроется скоро

Закончи предыдущий урок, чтобы открылся этот. Весь курс бесплатный, аккаунт не нужен, и ты можешь прочитать этот урок прямо сейчас.